CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE aborda el olvido catastrófico en el aprendizaje continuo para LLMs y VLMs que utilizan arquitecturas Mixture-of-Experts. Introduce un experto transitorio y un enrutamiento que preserva la consistencia para integrar nuevos conocimientos y evitar la sobrescritura de parámetros existentes.