Awakening Dormant Experts:Counterfactual Routing to Mitigate MoE Hallucinations

Modelos Mixture-of-Experts (MoE) são suscetíveis a alucinações, especialmente com conhecimento de cauda longa, pois o roteamento Top-k estático subprioriza especialistas. É proposta a Roteamento Contrafactual (CoR), uma estrutura de inferência sem treinamento que usa análise de perturbação e CEI para realocar recursos computacionais, "despertando" esses especialistas adormecidos.