Differences in Text Generated by Diffusion and Autoregressive Language Models

Esta pesquisa explora as diferenças intrínsecas no texto gerado por Modelos de Linguagem de Difusão (DLMs) e Modelos de Linguagem Autorregressivos (ARMs), descobrindo que os DLMs exibem menor entropia n-gram, mas maior coerência e diversidade semântica. Experimentos controlados sugerem que os objetivos de treinamento dos DLMs contribuem para a coerência e diversidade semântica, enquanto os algoritmos de decodificação são responsáveis pela redução da entropia.