routing algorithms

Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality

Diese Arbeit untersucht, ob die Routing-Topologie tatsächlich die Qualität der Sprachmodellierung in Mixture-of-Experts (MoE)-Architekturen bestimmt. Die Autoren fanden, dass verschiedene Routing-Varianten, einschließlich einer neuartigen auf Kosinus-Ähnlichkeit basierenden, zu statistisch äquivalenter asymptotischer Perplexität führen, was darauf hindeutet, dass das Routing-Design einen geringeren Einfluss auf die Endqualität hat als bisher angenommen.