Continual Distillation of Teachers from Different Domains

Esta investigación introduce la Destilación Continua (CD), un nuevo paradigma donde un modelo estudiante aprende secuencialmente de un flujo de modelos maestros sin retener acceso a los anteriores. Aborda desafíos como la transferencia (UKT) y el olvido (UKF) de conocimiento no visto a través de la Destilación de Datos Externos Propios (SE2D), que utiliza datos externos sin etiquetar para estabilizar el aprendizaje entre maestros heterogéneos.