Awakening Dormant Experts:Counterfactual Routing to Mitigate MoE Hallucinations

Les modèles Mixture-of-Experts (MoE) sont sujets aux hallucinations, surtout avec les connaissances à longue traîne, car le routage Top-k statique sous-priorise les experts spécialistes. Le routage contrefactuel (CoR) est proposé comme un cadre d'inférence sans entraînement qui utilise l'analyse de perturbation et le CEI pour déplacer dynamiquement les ressources de calcul, réveillant ainsi ces experts dormants.