Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Esta investigación descubre que el ajuste fino LoRA provoca 'desaprendizaje' en ejemplos controvertidos, donde una alta discrepancia de anotadores se correlaciona con un aumento de la pérdida durante el entrenamiento. Este patrón es distinto del ajuste fino completo y se observa consistentemente en varios modelos y conjuntos de datos.