Data Distillation

Distribution Corrected Offline Data Distillation for Large Language Models

Esta pesquisa propõe um framework de destilação de raciocínio offline para Grandes Modelos de Linguagem (LLMs) visando aprimorar a inteligência em ambientes com recursos limitados. O método aborda o problema de deriva distribucional em abordagens offline existentes, corrigindo discrepâncias entre professor e aluno, enquanto mantém a eficiência e a qualidade da supervisão.