RoPE

RoPE: Understanding Rotary Positional Embeddings in transformers

Ce contenu explore les Plongements Positionnels Rotatifs (RoPE) utilisés dans les architectures de transformateurs. Il vise à approfondir la compréhension du fonctionnement de RoPE et de son importance dans la modélisation de séquences.