Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality

Cet article examine si la topologie de routage détermine réellement la qualité de la modélisation linguistique dans les architectures Mixture-of-Experts (MoE). Les auteurs ont constaté que différentes variantes de routage, y compris une nouvelle basée sur la similarité cosinus, entraînent une perplexité asymptotique statistiquement équivalente, suggérant que la conception du routage a un impact moindre sur la qualité finale qu'on ne le pensait.