self-training

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

Diese Forschung stellt die Selbst-Verifizierte Destillation vor, einen Algorithmus, der großen Sprachmodellen (LLMs) ermöglicht, sich nur mit unbeschrifteten Prompts selbst zu verbessern. Dies beinhaltet das Generieren, Selbst-Verifizieren durch mehrstufige Prüfungen und das Trainieren auf selbstkuratierten Datensätzen, ohne externe Lehrer.