Diese Arbeit stellt einen geometrischen Rahmen zur Analyse der Instabilität von Merkmalsvereinigungen in Sparse Autoencodern (SAEs vor, insbesondere im Hinblick auf die Kompositionslenkung. Sie leitet eine asymptotische Kompositionskollaps-Schwelle unter einem sphärischen Wörterbuchmodell ab.
Diese Forschung stellt RoME vor, eine neuartige und recheneffiziente Neufassung von Rotary Position Embedding (RoPE), einem Kernbestandteil moderner Transformer-Architekturen. Durch das Ersetzen von Operationen auf Vektorebene durch vereinheitlichte Matrixtransformationen reduziert RoME den Rechenaufwand erheblich und verbessert die Hardwareauslastung.
Diese Arbeit wandelt Unmöglichkeitsergebnisse in Designregeln für vertrauenswürdige KI-Systeme um und beweist eine architekturabhängige Genauigkeitsgrenze. Sie führt den