FLUID est un nouveau framework qui adapte efficacement les modèles autorégressifs (AR) au paradigme de diffusion pour la génération de texte parallèle. Il permet l'initialisation à partir de modèles de style GPT et introduit un mécanisme de dénoising dynamique, atteignant des performances de pointe avec des coûts d'entraînement considérablement réduits.
Cette recherche explore les différences intrinsèques dans le texte généré par les Modèles de Langage à Diffusion (DLM) et les Modèles de Langage Autorégressifs (ARM), constatant que les DLM présentent une entropie n-gramme inférieure mais une cohérence et une diversité sémantiques plus élevées. Des expériences contrôlées révèlent que les objectifs d'entraînement des DLM améliorent la cohérence et la diversité grâce au contexte bidirectionnel, tandis que les algorithmes de décodage sont responsables de la réduction de l'entropie.
Cette recherche introduit les Conditional Attribute Transformers, une nouvelle méthode pour estimer conjointement la probabilité du prochain token et la valeur d'un attribut conditionnellement à chaque sélection potentielle du prochain token. Ce cadre permet des capacités critiques telles que l'attribution de crédit par token et l'analyse contrefactuelle en un seul passage, surmontant les limites des modèles génératifs traditionnels.
Cet article introduit PRISMat, un modèle économique et invariant par permutation pour l'identification rapide de matériaux candidats. Il aborde les inefficacités des grands modèles linguistiques dans la génération de matériaux en offrant une alternative plus rapide et moins coûteuse pour filtrer les matériaux.
Ce contenu propose une analyse d'un article de recherche explorant le modèle TiDAR. Le modèle intègre des concepts de diffusion et d'autorégression pour le traitement.
