Simple Self-Conditioning Adaptation for Masked Diffusion Models

Los modelos de difusión enmascarada (MDM) descartan predicciones para tokens que permanecen enmascarados, lo que limita el refinamiento entre pasos. Este artículo propone los Modelos de Difusión Enmascarada Auto-Condicionados (SCMDM), una adaptación post-entrenamiento que condiciona cada paso de denoising en las predicciones de estado limpio anteriores del propio modelo. Esto mejora el rendimiento sin cambios arquitectónicos importantes ni evaluaciones adicionales.