O artigo apresenta o DiBS, uma nova abordagem guiada por modelo de difusão para a seleção de ramos na resolução de Sudoku, um problema de satisfação de restrições. Ele aprimora os solucionadores simbólicos usando um modelo de difusão para guiar a ordenação dos ramos, garantindo a completude e mitigando problemas de busca de cauda longa.
Este artigo apresenta o Modelo de Linguagem de Difusão On-Policy (OPDLM) para transformar modelos autorregressivos (ARLMs) em modelos de linguagem de difusão (DLMs). Ele aborda problemas como a perda de conhecimento e a incompatibilidade entre treinamento e inferência, empregando a Destilação On-Policy (OPD).
O artigo apresenta "bicache", a primeira técnica de cache KV para prefixos partilhados em modelos de linguagem de difusão (DLMs), abordando desafios onde métodos de cache de LLM existentes falham devido à atenção bidirecional dos DLMs. Esta nova abordagem visa permitir o serviço de DLM de alto rendimento, aproveitando observações sobre a estabilidade dos KVs de prefixos partilhados em camadas superficiais.
DMax é um novo paradigma para modelos de linguagem de difusão (dLLMs) eficientes que mitiga o acúmulo de erros na decodificação paralela. Ele permite um paralelismo agressivo ao reformular a decodificação como um processo de auto-refinamento progressivo e introduzir uma estratégia de treinamento unificada.
O autor construiu um modelo de linguagem de difusão do zero para entender conceitos complexos, sem o auxílio de código gerado por IA. Ele treinou o modelo de 7.5M parâmetros no pequeno dataset Shakespeare e compartilhou o código no GitHub.
Modelos de Linguagem Grandes de Difusão (dLLMs) enfrentam um "atraso de estabilidade" devido à confirmação irreversível de tokens, problema exacerbado por erros de Quantização Pós-Treinamento (PTQ). FAIR-Calib propõe uma estrutura PTQ de duas etapas que utiliza um prior de posição e calibração por camada para proteger estados de fronteira frágeis, melhorando a quantização para dLLMs.
O autor explora a beleza e a honestidade de pausar modelos de difusão a meio da renderização, considerando essas molduras inacabadas mais reveladoras do que as imagens finais polidas. Essas fases, onde os modelos de IA ainda estão "pensando" e negociando características dos seus dados de treinamento, são descritas como uma "confissão" em vez de uma "declaração".
Este artigo propõe uma nova técnica, Token-to-Mask (T2M) remasking, para refinar modelos de linguagem de difusão mascarados como LLaDA2.1. O método aborda as falhas do Token-to-Token (T2T) editing ao redefinir tokens suspeitos para um estado de máscara, permitindo uma repredição mais precisa.
Discrete Tilt Matching (DTM) é um novo método sem verossimilhança para ajuste fino de modelos de linguagem grandes de difusão mascarada (dLLMs), superando a intratabilidade de probabilidades marginais. Ele reformula o ajuste fino como correspondência em nível de estado e utiliza um objetivo de entropia cruzada ponderada com variâncias de controle para estabilidade, mostrando ganhos significativos em tarefas como Sudoku e Countdown.
O artigo revela uma vulnerabilidade crítica em modelos de linguagem baseados em difusão (dLLMs), onde seu alinhamento de segurança, dependente de agendamentos de denoising monotônicos, pode ser facilmente contornado. Ao re-mascarar tokens de recusa e injetar um prefixo afirmativo, pesquisadores obtiveram altas taxas de sucesso de ataque contra dLLMs proeminentes, expondo uma falha estrutural.
Este artigo propõe uma explicação teórica para a eficiência dos modelos de difusão na aprendizagem da função de score para dados de alta dimensão em variedades de baixa dimensão. Ele identifica um mecanismo de "colapso e refinamento" impulsionado pela geometria da própria função de score, onde o mapa de denoising se projeta na variedade de dados e refina a densidade intrínseca.
O novo modelo gpt-image-2 da OpenAI resolveu o problema de longa data da IA em renderizar texto e layouts complexos com precisão em imagens. Essa mudança arquitetônica representa um avanço significativo que exige a reavaliação de fluxos de trabalho baseados em modelos de difusão.
Esta pesquisa unifica Transformers, mapas de difusão e Laplacianos magnéticos, mostrando-os como diferentes regimes de uma única geometria de Markov. O estudo define uma "bidivergência" QK para conectar atenção e difusão, organizando suas dinâmicas com produto de especialistas e pontes de Schrödinger.
Modelos de linguagem de difusão estão agora alcançando ganhos significativos de throughput e diminuindo a lacuna com decodificadores autorregressivos na velocidade de inferência. Novos Modelos de Linguagem de Difusão Introspectivos (I-DLM) abordam problemas anteriores de consistência introspectiva e loops de amostragem ineficientes, melhorando tanto a qualidade quanto a latência.
Esta pesquisa otimiza sistematicamente a inferência de modelos de difusão em tempo real no Apple M3 Ultra, explorando várias técnicas como conversão CoreML e quantização. O estudo alcançou 22.7 FPS para transformação img2img de 512x512 combinando a conversão CoreML do SDXS-512 com um pipeline de câmera de 3 threads.
Este artigo explora por que geradores de imagem de IA, como Stable Diffusion e Midjourney, falham consistentemente em renderizar texto corretamente, explicando que o problema reside na forma como os modelos de difusão aprendem padrões visuais. Contudo, ele aponta para a existência de um modelo que finalmente superou essa limitação comum.
Este artigo investiga as limitações das intervenções uniformes em modelos de linguagem de difusão discreta (DLMs), mostrando que elas degradam a qualidade da geração controlada. Os autores descobrem que diferentes atributos se consolidam em estágios distintos do processo de denoising, propondo um agendador adaptativo para concentrar as intervenções eficientemente.
FLUID é um novo framework que adapta eficientemente modelos Autoregressivos (AR) ao paradigma de difusão para geração paralela de texto. Ele permite a inicialização a partir de modelos GPT e utiliza um mecanismo dinâmico de denoising, resultando em desempenho superior e custos de treinamento drasticamente reduzidos.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
Esta pesquisa apresenta LIFT, um algoritmo de fine-tuning informado pela capacidade de aprendizado, projetado para melhorar as capacidades de raciocínio de modelos de linguagem de difusão. LIFT supera as deficiências do SFT padrão ao aprender tokens de forma adaptativa com base em sua dificuldade e contexto disponível em diferentes etapas de tempo de difusão, demonstrando desempenho superior.