Efficient Matrix Implementation for Rotary Position Embedding

Esta pesquisa propõe RoME, uma reformulação inovadora e computacionalmente eficiente do Rotary Position Embedding (RoPE), um componente crucial em arquiteturas Transformer modernas. Ao substituir operações vetoriais por transformações matriciais unificadas, RoME reduz significativamente a sobrecarga computacional e melhora a utilização de hardware.