EMA Is Not All You Need: Mapping the Boundary Between Structure and Content in Recurrent Context

Esta pesquisa explora traços de Média Móvel Exponencial (EMA) como um contexto recorrente mínimo para delinear as capacidades e limitações da acumulação de coeficiente fixo em modelos de sequência. Ela demonstra que os traços EMA são excelentes na codificação de estrutura temporal, igualando modelos avançados em tarefas estruturais, mas falham fundamentalmente em capturar a identidade do token, resultando em desempenho significativamente reduzido para modelagem de linguagem.