Data Pruning

SLAP: Stratified Loss-based Pruning for On-Policy Data-Efficient Instruction Tuning

Cette recherche présente SLAP, un nouveau cadre de sélection de données sensible aux lots conçu pour améliorer l'efficacité des données lors du réglage des instructions pour les LLM. SLAP optimise l'apprentissage en évaluant des compositions de lots entiers, assurant une couverture complète de la distribution des données et maximisant la diversité intra-lot pour atteindre des performances sans perte avec des coûts d'entraînement réduits.