O artigo apresenta um arcabouço geométrico para analisar a instabilidade da composição de características em Autoencoders Esparsos (SAEs), focando na direção composicional. Ele deriva um limiar assintótico de colapso composicional sob um modelo de dicionário esférico.
Esta pesquisa propõe RoME, uma reformulação inovadora e computacionalmente eficiente do Rotary Position Embedding (RoPE), um componente crucial em arquiteturas Transformer modernas. Ao substituir operações vetoriais por transformações matriciais unificadas, RoME reduz significativamente a sobrecarga computacional e melhora a utilização de hardware.
Esta tese transforma resultados de impossibilidade em regras de design para IA confiável, provando um limite de precisão fixado pela arquitetura do modelo. O