Controlled Generation

Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

Cet article examine les limites des interventions uniformes dans les modèles de langage à diffusion discrète (DLMs), démontrant qu'elles dégradent la qualité de la génération contrôlée. Les auteurs constatent que différents attributs se stabilisent à des étapes distinctes du processus de débruitage, proposant un planificateur adaptatif pour concentrer les interventions efficacement.