Offline Distillation

Distribution Corrected Offline Data Distillation for Large Language Models

Diese Forschung schlägt ein Offline-Argumentationsdestillations-Framework für Große Sprachmodelle (LLMs) vor, um die Intelligenz in ressourcenbeschränkten Umgebungen zu verbessern. Die Methode behebt das Problem der Verteilungsdrift bei bestehenden Offline-Ansätzen, indem sie Lehrer-Schüler-Diskrepanzen korrigiert, während Effizienz und Überwachungsqualität erhalten bleiben.