SLAP: Stratified Loss-based Pruning for On-Policy Data-Efficient Instruction Tuning

Diese Forschung stellt SLAP vor, ein neuartiges batch-bewusstes Daten-Auswahl-Framework, das darauf abzielt, die Dateneffizienz beim Instruction Tuning für LLMs zu verbessern. SLAP optimiert das Lernen durch die Bewertung ganzer Batch-Kompositionen, gewährleistet eine umfassende Abdeckung der Datenverteilung und maximiert die Intra-Batch-Diversität, um verlustfreie Leistung bei reduzierten Trainingskosten zu erzielen.