Learnability-Informed Fine-Tuning of Diffusion Language Models

Diese Forschung stellt LIFT vor, einen lerbarkeitsinformierten Fine-Tuning-Algorithmus, der entwickelt wurde, um die Schlussfolgerungsfähigkeiten von Diffusions-Sprachmodellen zu verbessern. LIFT behebt Mängel des Standard-SFT, indem es Token adaptiv basierend auf deren Schwierigkeit und dem verfügbaren Kontext während verschiedener Diffusionszeitschritte lernt und dabei eine verbesserte Leistung gegenüber bestehenden Baselines zeigt.