Learnability-Informed Fine-Tuning of Diffusion Language Models

Esta investigación introduce LIFT, un algoritmo de ajuste fino informado por la "learnability" (capacidad de aprendizaje), diseñado para mejorar las capacidades de razonamiento de los modelos de lenguaje de difusión. LIFT aborda las deficiencias del SFT estándar aprendiendo tokens de forma adaptativa según su dificultad y el contexto disponible en diferentes pasos de tiempo de difusión, mostrando un rendimiento mejorado.