Elastic Attention Cores for Scalable Vision Transformers [R]

Este artigo propõe Elastic Attention Cores como um novo bloco construtivo para Vision Transformers escaláveis, abordando o alto custo da autoatenção densa. A abordagem utiliza uma estrutura de atenção esparsa em bloco e dropout aninhado para permitir ajustes elásticos no custo de inferência, alcançando alta precisão.