The Long Delay to Arithmetic Generalization: When Learned Representations Outrun Behavior

Cette recherche examine le phénomène de 'grokking' dans les transformateurs, constatant que le long délai de généralisation dans les modèles arithmétiques résulte d'un goulot d'étranglement du décodeur. L'encodeur acquiert rapidement des connaissances structurelles pertinentes, mais le décodeur peine à y accéder, une hypothèse étayée par des interventions causales telles que la transplantation d'encodeurs.