CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE s'attaque à l'oubli catastrophique dans l'apprentissage continu pour les LLM et VLM utilisant des architectures Mixture-of-Experts. Il introduit un expert transitoire et un routage préservant la cohérence pour intégrer de nouvelles connaissances tout en empêchant l'écrasement des paramètres existants.