EMA Is Not All You Need: Mapping the Boundary Between Structure and Content in Recurrent Context

Cette recherche explore les traces de moyenne mobile exponentielle (EMA) comme un contexte récurrent minimal pour délimiter les capacités et les limites de l'accumulation à coefficient fixe dans les modèles de séquence. Elle démontre que les traces EMA excellent dans l'encodage de la structure temporelle, égalant les modèles avancés sur les tâches structurelles, mais échouent fondamentalement à capturer l'identité du jeton, entraînant une performance significativement réduite pour la modélisation linguistique.