Controlled Generation

Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

Este artigo investiga as limitações das intervenções uniformes em modelos de linguagem de difusão discreta (DLMs), mostrando que elas degradam a qualidade da geração controlada. Os autores descobrem que diferentes atributos se consolidam em estágios distintos do processo de denoising, propondo um agendador adaptativo para concentrar as intervenções eficientemente.