Data Distillation

Distribution Corrected Offline Data Distillation for Large Language Models

Cette recherche propose un cadre de distillation de raisonnement hors ligne pour les grands modèles linguistiques (LLM) afin d'améliorer l'intelligence dans des environnements contraints par les ressources. La méthode s'attaque au problème de la dérive distributionnelle dans les approches hors ligne existantes en corrigeant les écarts entre enseignant et élève, tout en conservant l'efficacité et la qualité de la supervision.