The Scaling Properties of Implicit Deductive Reasoning in Transformers

Cet article étudie les propriétés de mise à l'échelle du raisonnement déductif implicite sur les clauses de Horn dans les Transformers à profondeur limitée. Les modèles profonds avec un masque de préfixe bidirectionnel approchent les performances explicites de CoT, bien que CoT reste nécessaire pour l'extrapolation en profondeur.