FLUID é um novo framework que adapta eficientemente modelos Autoregressivos (AR) ao paradigma de difusão para geração paralela de texto. Ele permite a inicialização a partir de modelos GPT e utiliza um mecanismo dinâmico de denoising, resultando em desempenho superior e custos de treinamento drasticamente reduzidos.
Esta pesquisa explora as diferenças intrínsecas no texto gerado por Modelos de Linguagem de Difusão (DLMs) e Modelos de Linguagem Autorregressivos (ARMs), descobrindo que os DLMs exibem menor entropia n-gram, mas maior coerência e diversidade semântica. Experimentos controlados sugerem que os objetivos de treinamento dos DLMs contribuem para a coerência e diversidade semântica, enquanto os algoritmos de decodificação são responsáveis pela redução da entropia.
Esta pesquisa apresenta os Conditional Attribute Transformers, um novo método para estimar conjuntamente a probabilidade do próximo token e o valor de um atributo condicionalmente a cada seleção potencial do próximo token. Este framework permite capacidades críticas como atribuição de crédito por token e análise contrafactual em uma única passagem, superando limitações dos modelos generativos tradicionais.
O artigo apresenta o PRISMat, um modelo econômico e invariante à permutação para a rápida identificação de materiais candidatos. Ele resolve as ineficiências dos grandes modelos de linguagem na geração de materiais, oferecendo uma alternativa mais rápida e barata para filtrar materiais.
Este conteúdo apresenta uma análise de um artigo de pesquisa que explora o modelo TiDAR. O modelo integra conceitos de difusão e autorregressão para processamento.
