The Scaling Properties of Implicit Deductive Reasoning in Transformers

Este artículo investiga las propiedades de escala del razonamiento deductivo implícito sobre cláusulas de Horn en Transformers con límite de profundidad. Los modelos profundos con una máscara de prefijo bidireccional se aproximan al rendimiento explícito de CoT, aunque CoT sigue siendo necesario para la extrapolación de profundidad.