The Diffusion-Attention Connection

Esta pesquisa unifica Transformers, mapas de difusão e Laplacianos magnéticos, mostrando-os como diferentes regimes de uma única geometria de Markov. O estudo define uma "bidivergência" QK para conectar atenção e difusão, organizando suas dinâmicas com produto de especialistas e pontes de Schrödinger.