Recurrent Context

EMA Is Not All You Need: Mapping the Boundary Between Structure and Content in Recurrent Context

Esta investigación explora los rastros de Promedio Móvil Exponencial (EMA) como un contexto recurrente mínimo para delinear las capacidades y limitaciones de la acumulación de coeficiente fijo en modelos de secuencia. Demuestra que los rastros de EMA sobresalen en la codificación de la estructura temporal, igualando a modelos avanzados en tareas estructurales, pero fundamentalmente fallan en capturar la identidad del token, lo que resulta en un rendimiento significativamente reducido para el modelado de lenguaje.