On the Invariants of Softmax Attention

Diese Forschung definiert das "Energiefeld" in der Softmax-Aufmerksamkeit und deckt wesentliche invariante Eigenschaften auf. Sie unterscheidet zwischen mechanismusbezogenen Invarianten, die aus der algebraischen Struktur abgeleitet sind, und modellbezogenen Regularitäten, die in autoregressiven Sprachmodellen beobachtet werden.