Differences in Text Generated by Diffusion and Autoregressive Language Models

Cette recherche explore les différences intrinsèques dans le texte généré par les Modèles de Langage à Diffusion (DLM) et les Modèles de Langage Autorégressifs (ARM), constatant que les DLM présentent une entropie n-gramme inférieure mais une cohérence et une diversité sémantiques plus élevées. Des expériences contrôlées révèlent que les objectifs d'entraînement des DLM améliorent la cohérence et la diversité grâce au contexte bidirectionnel, tandis que les algorithmes de décodage sont responsables de la réduction de l'entropie.