Matrix operations

Efficient Matrix Implementation for Rotary Position Embedding

Diese Forschung stellt RoME vor, eine neuartige und recheneffiziente Neufassung von Rotary Position Embedding (RoPE), einem Kernbestandteil moderner Transformer-Architekturen. Durch das Ersetzen von Operationen auf Vektorebene durch vereinheitlichte Matrixtransformationen reduziert RoME den Rechenaufwand erheblich und verbessert die Hardwareauslastung.