Controlled Generation

Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

Diese Arbeit untersucht die Einschränkungen gleichmäßiger Interventionen in diskreten Diffusions-Sprachmodellen (DLMs) und zeigt, dass diese die Qualität der gesteuerten Generierung verschlechtern. Die Autoren stellen fest, dass verschiedene Attribute zu unterschiedlichen Zeitpunkten im Denoising-Prozess fixiert werden, und schlagen einen adaptiven Planer vor, um Interventionen effizient zu konzentrieren.