Temporal Structure

EMA Is Not All You Need: Mapping the Boundary Between Structure and Content in Recurrent Context

Diese Forschung untersucht Exponential Moving Average (EMA)-Spuren als minimalen rekurrenten Kontext, um die Fähigkeiten und Grenzen der Akkumulation mit festen Koeffizienten in Sequenzmodellen abzugrenzen. Es zeigt sich, dass EMA-Spuren hervorragend die zeitliche Struktur kodieren und bei strukturellen Aufgaben mit fortgeschrittenen Modellen mithalten können, jedoch grundsätzlich die Token-Identität nicht erfassen, was zu einer deutlich reduzierten Leistung beim Sprachmodellieren führt.