Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Esta pesquisa revela que o ajuste fino LoRA exibe 'desaprendizagem' em exemplos contestados, onde alta discordância de anotadores se correlaciona com o aumento da perda durante o treinamento. Este padrão é distinto do ajuste fino completo e consistentemente observado em vários modelos e conjuntos de dados.