On the Invariants of Softmax Attention

Este estudo define o "campo de energia" na atenção softmax, revelando propriedades invariantes essenciais. Ele diferencia invariantes de nível de mecanismo, baseados na estrutura algébrica, de regularidades de nível de modelo observadas em modelos de linguagem autorregressivos.