Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Cette recherche révèle que le réglage fin LoRA entraîne un 'désapprentissage' sur des exemples contestés, où un désaccord élevé des annotateurs est corrélé à une perte croissante pendant l'entraînement. Ce phénomène se distingue du réglage fin complet et est observé de manière constante sur divers modèles et ensembles de données.