Continual Distillation of Teachers from Different Domains

Diese Forschung stellt Continual Distillation (CD) vor, ein neues Paradigma, bei dem ein Schülermodell sequenziell von einem Strom von Lehrmodellen lernt, ohne frühere Lehrer beizubehalten. Es adressiert Herausforderungen wie den Transfer (UKT) und das Vergessen (UKF) von ungesehenem Wissen mittels Self External Data Distillation (SE2D), das unbeschriftete externe Daten verwendet, um das Lernen über heterogene Lehrer hinweg zu stabilisieren.