The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models

Cette étude de recherche révèle que les petits modèles de langage (LMs) ajustés par instruction utilisant le Chain-of-Thought (CoT) pour l'arithmétique emploient souvent un raccourci positionnel, copiant le dernier nombre avant le délimiteur de réponse. Ce raccourci domine, même si le raisonnement intermédiaire est correct, influençant significativement la précision de la réponse.