Continual Distillation of Teachers from Different Domains

Esta pesquisa introduz a Destilação Contínua (CD), um novo paradigma onde um modelo aluno aprende sequencialmente de um fluxo de modelos professores sem reter acesso aos anteriores. Aborda desafios como a transferência (UKT) e o esquecimento (UKF) de conhecimento não visto através da Destilação de Dados Externos Próprios (SE2D), que utiliza dados externos não rotulados para estabilizar a aprendizagem entre professores heterogêneos.