Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

Cette recherche introduit la Distillation Auto-Vérifiée, un algorithme permettant aux grands modèles de langage (LLM) de s'améliorer en utilisant uniquement des invites non étiquetées. Le processus implique la génération, l'auto-vérification par des contrôles multi-étapes, puis l'entraînement sur des ensembles de données auto-curés, sans enseignants externes.