The Scaling Properties of Implicit Deductive Reasoning in Transformers

Este artigo investiga as propriedades de escala do raciocínio dedutivo implícito em Transformers para cláusulas de Horn. Modelos profundos com máscara de prefixo bidirecional se aproximam do desempenho explícito de CoT, embora CoT seja essencial para extrapolação de profundidade.