Simple Self-Conditioning Adaptation for Masked Diffusion Models

Maskierte Diffusionsmodelle (MDMs) verwerfen Vorhersagen für Token, die maskiert bleiben, was die Verfeinerung über Schritte hinweg einschränkt. Dieses Papier schlägt selbstkonditionierte maskierte Diffusionsmodelle (SCMDM) vor, eine Post-Training-Anpassung, die jeden Denoising-Schritt auf die vorherigen Klartext-Vorhersagen des Modells konditioniert. Dies verbessert die Leistung ohne größere architektonische Änderungen oder zusätzliche Evaluierungen.