Offline Distillation

Distribution Corrected Offline Data Distillation for Large Language Models

Esta investigación propone un marco de destilación de razonamiento fuera de línea para Grandes Modelos de Lenguaje (LLMs) con el fin de mejorar la inteligencia en entornos con recursos limitados. El método aborda el problema de la deriva distribucional en los enfoques fuera de línea existentes, corrigiendo las discrepancias entre el profesor y el alumno, mientras mantiene la eficiencia y la calidad de la supervisión.