From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons

FLUID é um novo framework que adapta eficientemente modelos Autoregressivos (AR) ao paradigma de difusão para geração paralela de texto. Ele permite a inicialização a partir de modelos GPT e utiliza um mecanismo dinâmico de denoising, resultando em desempenho superior e custos de treinamento drasticamente reduzidos.