routing algorithms

Equifinality in Mixture of Experts: Routing Topology Does Not Determine Language Modeling Quality

Este artigo investiga se a topologia de roteamento realmente determina a qualidade da modelagem de linguagem em arquiteturas Mixture-of-Experts (MoE). Os autores descobriram que diferentes variantes de roteamento, incluindo uma nova baseada em similaridade de cosseno, resultam em perplexidade assintótica estatisticamente equivalente, sugerindo que o design do roteamento tem um impacto menor do que se pensava na qualidade final.