Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

Este artículo investiga las limitaciones de las intervenciones uniformes en los modelos de lenguaje de difusión discreta (DLMs), mostrando que degradan la calidad de la generación controlada. Los autores descubren que diferentes atributos se consolidan en etapas distintas del proceso de denoising, proponiendo un programador adaptativo para concentrar las intervenciones de manera eficiente.