Transformers with Selective Access to Early Representations [R]

O artigo introduz SATFormer, uma nova variante de Transformer que melhora a eficiência ao permitir que os "heads" reacessem seletivamente representações iniciais, em vez de copiá-las uniformemente. Esse mecanismo de "gating" dependente do contexto otimiza a reutilização de informações, oferecendo um melhor equilíbrio entre eficiência e desempenho.