CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE begegnet dem katastrophalen Vergessen im kontinuierlichen Lernen für LLMs und VLMs mittels Mixture-of-Experts-Architekturen. Es führt einen transienten Experten und konsistenzerhaltendes Routing ein, um neues Wissen zu integrieren und das Überschreiben bestehender Parameter zu verhindern.