Matrix operations

Efficient Matrix Implementation for Rotary Position Embedding

Cette recherche propose RoME, une reformulation nouvelle et efficace sur le plan computationnel du Rotary Position Embedding (RoPE), un composant essentiel des architectures Transformer modernes. En remplaçant les opérations vectorielles par des transformations matricielles unifiées, RoME réduit considérablement la surcharge computationnelle et améliore l'utilisation du matériel.