CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE aborda o esquecimento catastrófico na aprendizagem contínua para LLMs e VLMs utilizando arquiteturas Mixture-of-Experts. Ele introduz um especialista transiente e roteamento que preserva a consistência para integrar novos conhecimentos e prevenir a sobrescrita de parâmetros existentes.