Matrix operations

Efficient Matrix Implementation for Rotary Position Embedding

Esta investigación propone RoME, una reformulación novedosa y computacionalmente eficiente de Rotary Position Embedding (RoPE), un componente clave en las arquitecturas Transformer modernas. Al reemplazar las operaciones a nivel vectorial con transformaciones matriciales unificadas, RoME reduce significativamente la sobrecarga computacional y mejora la utilización del hardware.