self-training

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

Esta investigación presenta la Destilación Auto-Verificada, un algoritmo que permite a los grandes modelos de lenguaje (LLMs) mejorarse a sí mismos utilizando solo indicaciones sin etiquetar. Implica generar, auto-verificar mediante comprobaciones multi-etapa y luego entrenar con conjuntos de datos auto-curados, sin maestros externos.