Continual Distillation of Teachers from Different Domains

Cette recherche introduit la Distillation Continue (CD), un nouveau paradigme où un modèle étudiant apprend séquentiellement d'un flux de modèles enseignants sans retenir l'accès aux précédents. Elle aborde les défis tels que le transfert (UKT) et l'oubli (UKF) des connaissances invisibles grâce à la Distillation de Données Externes Auto-Supervisées (SE2D), qui utilise des données externes non étiquetées pour stabiliser l'apprentissage à travers des enseignants hétérogènes.