Simple Self-Conditioning Adaptation for Masked Diffusion Models

Modelos de difusão mascarada (MDMs) descartam previsões para tokens que permanecem mascarados, limitando o refinamento entre passos. Este artigo propõe os Modelos de Difusão Mascarada Auto-Condicionados (SCMDM), uma adaptação pós-treinamento que condiciona cada passo de denoising nas previsões anteriores do próprio modelo. Isso melhora o desempenho sem mudanças arquitetônicas significativas ou avaliações adicionais.