Differences in Text Generated by Diffusion and Autoregressive Language Models

Esta investigación examina las diferencias inherentes en el texto generado por Modelos de Lenguaje de Difusión (DLM) y Modelos de Lenguaje Autorregresivos (ARM), encontrando que los DLM muestran menor entropía n-grama, pero mayor coherencia y diversidad semántica. Experimentos controlados indican que los objetivos de entrenamiento de los DLM contribuyen a la coherencia y diversidad semántica, mientras que los algoritmos de decodificación son responsables de la reducción de la entropía.