Learnability-Informed Fine-Tuning of Diffusion Language Models

Cette recherche présente LIFT, un algorithme de "fine-tuning" informé par l'apprenabilité, conçu pour améliorer les capacités de raisonnement des modèles de langage de diffusion. LIFT corrige les lacunes du SFT standard en apprenant les tokens de manière adaptative en fonction de leur difficulté et du contexte disponible à différentes étapes temporelles de diffusion, démontrant une performance améliorée.