Learnability-Informed Fine-Tuning of Diffusion Language Models

Esta pesquisa apresenta LIFT, um algoritmo de fine-tuning informado pela capacidade de aprendizado, projetado para melhorar as capacidades de raciocínio de modelos de linguagem de difusão. LIFT supera as deficiências do SFT padrão ao aprender tokens de forma adaptativa com base em sua dificuldade e contexto disponível em diferentes etapas de tempo de difusão, demonstrando desempenho superior.