Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Diese Forschung zeigt, dass LoRA-Fine-Tuning bei umstrittenen Beispielen ein „Entlernen“ bewirkt, wobei eine hohe AnnotatorenUneinigkeit mit einem Anstieg des Verlusts während des Trainings korreliert. Dieses Muster unterscheidet sich vom vollständigen Fine-Tuning und wird konsistent über mehrere Modelle und Datensätze hinweg beobachtet.