On the Invariants of Softmax Attention

Esta investigación define el "campo de energía" en la atención softmax, revelando propiedades invariantes esenciales. Diferencia los invariantes a nivel de mecanismo, derivados de la estructura algebraica, de las regularidades a nivel de modelo observadas en modelos de lenguaje autorregresivos.