FLUID es un nuevo framework que adapta eficientemente modelos autorregresivos (AR) al paradigma de difusión para la generación paralela de texto. Permite la inicialización desde modelos tipo GPT e introduce un mecanismo de denoising dinámico, logrando un rendimiento de vanguardia con costos de entrenamiento significativamente menores.
Esta investigación examina las diferencias inherentes en el texto generado por Modelos de Lenguaje de Difusión (DLM) y Modelos de Lenguaje Autorregresivos (ARM), encontrando que los DLM muestran menor entropía n-grama, pero mayor coherencia y diversidad semántica. Experimentos controlados indican que los objetivos de entrenamiento de los DLM contribuyen a la coherencia y diversidad semántica, mientras que los algoritmos de decodificación son responsables de la reducción de la entropía.
Esta investigación introduce los Conditional Attribute Transformers, un método novedoso para estimar conjuntamente la probabilidad del siguiente token y el valor de un atributo condicional a cada selección potencial del siguiente token. Este marco permite capacidades críticas como la asignación de crédito por token y el análisis contrafactual en una sola pasada, superando las limitaciones de los modelos generativos tradicionales.
Este artículo presenta PRISMat, un modelo rentable e invariante a la permutación para la rápida identificación de materiales candidatos. Aborda las ineficiencias de los grandes modelos de lenguaje en la generación de materiales, ofreciendo una alternativa más rápida y económica para filtrarlos.
Este contenido presenta un análisis de un artículo de investigación que explora el modelo TiDAR. El modelo integra conceptos de difusión y autorregresión para su procesamiento.
