Why Fine-Tuning Encourages Hallucinations and How to Fix It

Modelos de linguagem grandes frequentemente alucinam fatos, um problema agravado pelo fine-tuning supervisionado (SFT) que degrada o conhecimento pré-treinado. Esta pesquisa propõe um método SFT baseado em autodestilação, inspirado na aprendizagem contínua, para mitigar alucinações regulando o desvio da distribuição de saída, enquanto adquire efetivamente novas informações factuais.