On the Invariants of Softmax Attention

Cette recherche définit le "champ d'énergie" dans l'attention softmax, révélant des propriétés invariantes essentielles. Elle distingue les invariants au niveau du mécanisme, dérivés de la structure algébrique, des régularités au niveau du modèle observées dans les modèles de langage autorégressifs.