Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

Esta pesquisa apresenta a Destilação Auto-Verificada, um algoritmo que permite a grandes modelos de linguagem (LLMs) aprimorar-se usando apenas prompts não rotulados. O processo envolve a geração, auto-verificação por meio de verificações multi-estágio e o treinamento em conjuntos de dados auto-curados, sem a necessidade de professores externos.