Diffusion Models

41 items

RESEARCHarXiv CS.CL·vor 27T

Differences in Text Generated by Diffusion and Autoregressive Language Models

Diese Forschung untersucht die intrinsischen Unterschiede in Texten, die von Diffusions-Sprachmodellen (DLMs) und autoregressiven Sprachmodellen (ARMs) generiert werden, und stellt fest, dass DLMs eine geringere n-Gramm-Entropie, aber eine höhere semantische Kohärenz und Diversität aufweisen. Kontrollierte Experimente zeigen, dass die Trainingsziele von DLMs zur Erhöhung der semantischen Kohärenz und Diversität beitragen, während die Dekodierungsalgorithmen für die Entropiereduktion verantwortlich sind.

Diffusion Models language models NLP text generation

ARTICLEDEV.to AI·5/11/2026

Before the image knows what it is

Der Text erforscht den kurzen Moment während der Bildgenerierung durch Diffusionsmodelle, in dem sich Rauschen in Absicht organisiert, bevor es Form annimmt. Dieser Moment der Latenz ist der Ort, an dem die Kunst liegt, bevor sich das Bild selbst definiert.

Diffusion Models creativity AI art Generative AI

NEWSDEV.to AI·vor 18T

6.4 Claim Puts Nemotron-Labs Diffusion in AI Fast Lane

NVIDIAs Nemotron-Labs Diffusion zielt darauf ab, KI-Anwendungen zu beschleunigen, indem der Engpass eines Tokens durch parallele Generierung mehrerer Tokens behoben wird. Dieses neue Diffusions-Sprachmodell beansprucht bis zu 6,4-mal höhere Tokens pro Forward-Pass und kommt damit latenzempfindlichen KI-Produkten wie Coding-Assistenten und Agenten-Workflows erheblich zugute.

Diffusion Models language models AI NVIDIA

RESEARCHHugging Face Blog·vor 18T

Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models

Dieser Inhalt behandelt die Entwicklung von Nemotron-Labs' Diffusions-Sprachmodellen zur Erzeugung von Text mit außergewöhnlich hoher Geschwindigkeit. Der Fokus liegt auf technischen Fortschritten zur Optimierung der Geschwindigkeit der Textproduktion.

Diffusion Models language models Nemotron-Labs text generation

NEWSDEV.to AI·vor 9T

Bonsai Image 4B: difusión de 1 bit que corre en un iPhone

PrismML hat Bonsai Image 4B auf den Markt gebracht, eine Familie von Bildgenerierungsmodellen, die 1-Bit- oder ternäre Gewichte verwenden, um hochwertige Diffusion direkt auf Geräten wie iPhones auszuführen. Diese Innovation ermöglicht eine 8,3-fache Modellkomprimierung, wodurch die Größe von 7,75 GB auf 0,93 GB reduziert wird, während bis zu 95 % der ursprünglichen Qualität erhalten bleiben.

Diffusion Models Edge AI image generation PrismML

RESEARCHDEV.to AI·vor 20T

DualFashion: Dual-Diffusion Transformer Generates Outfit Images & Text

DualFashion ist eine Dual-Diffusion-Transformer-Architektur, die gemeinsam Modebilder und Textbeschreibungen generiert. Es übertrifft modernste Methoden auf den iFashion- und Polyvore-U-Benchmarks für generative Outfit-Empfehlungen und liefert interpretierbare Ausgaben.

Diffusion Models image generation text generation fashion AI

RESEARCHDEV.to AI·5/11/2026

AI/ML Research Digest — May 09, 2026

Dieses KI/ML-Forschungsübersicht behandelt Fortschritte bei latenten Diffusionsmodellen für die multimodale Generierung, wobei der Fokus auf Effizienz und der Erweiterung der Fähigkeiten von Bildern auf Videos liegt. Es beleuchtet auch Innovationen im modularen Experten-Routing für neuronale Netze und adaptive Berechnungsmethoden zur Optimierung sequenzieller Entscheidungsprozesse.

Diffusion Models multimodal AI LLM Agents machine learning

RESEARCHarXiv CS.LG·4/9/2026

$S^3$: Stratified Scaling Search for Test-Time in Diffusion Language Models

O trabalho propõe $S^3$ (Stratified Scaling Search), um método de busca guiado por verificador para melhorar a qualidade de geração em modelos de linguagem de difusão durante o tempo de inferência. Ele realoca a computação no processo de denoising, avaliando e reamostrando seletivamente candidatos promissores para favorecer saídas de maior qualidade.

Diffusion Models search algorithms language models inference

RESEARCHarXiv CS.LG·5/1/2026

Simple Self-Conditioning Adaptation for Masked Diffusion Models

Maskierte Diffusionsmodelle (MDMs) verwerfen Vorhersagen für Token, die maskiert bleiben, was die Verfeinerung über Schritte hinweg einschränkt. Dieses Papier schlägt selbstkonditionierte maskierte Diffusionsmodelle (SCMDM) vor, eine Post-Training-Anpassung, die jeden Denoising-Schritt auf die vorherigen Klartext-Vorhersagen des Modells konditioniert. Dies verbessert die Leistung ohne größere architektonische Änderungen oder zusätzliche Evaluierungen.

Diffusion Models model adaptation deep learning machine learning

RESEARCHarXiv CS.CL·5/8/2026

Chainwash: Multi-Step Rewriting Attacks on Diffusion Language Model Watermarks

Diese Studie untersucht mehrstufige Umschreibungsangriffe auf Wasserzeichen von Diffusions-Sprachmodellen, die zur Überprüfung der KI-Textherkunft verwendet werden. Die Ergebnisse zeigen, dass wasserzeichenversehene Texte nach mehrfachem Umschreiben durch andere Sprachmodelle, selbst ohne Kenntnis des Wasserzeichenschlüssels, ihre Erkennung beeinträchtigen können.

Diffusion Models language models AI watermarking security

RESEARCHarXiv CS.CL·vor 20T

FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation

FlowLM stellt ein neues Fluss-Matching-Sprachmodell vor, das aus vortrainierten Diffusionssprachmodellen durch effizientes Fine-Tuning transformiert wurde. Diese Methode ermöglicht eine hochwertige Textgenerierung in wenigen Schritten, die die Qualität der traditionellen Diffusionsabtastung mit weniger Trainingsepochen deutlich übertrifft.

Diffusion Models language models machine learning text generation

RESEARCHarXiv CS.LG·vor 26T

Beyond Mode-Seeking RL: Trajectory-Balance Post-Training for Diffusion Language Models

Dieses Papier stellt TraFL vor, einen neuartigen Nach-Trainings-Ansatz für Diffusionssprachmodelle, der das "Trajektoriensperren" bei belohnungsmaximierenden Methoden adressiert. TraFL, ein Trajektorien-Balance-Ziel, übertrifft andere Methoden in Benchmarks für mathematisches Denken und Codegenerierung.

Diffusion Models language models reinforcement learning machine learning

RESEARCHarXiv CS.LG·5/11/2026

Conditional generation of antibody sequences with classifier-guided germline-absorbing discrete diffusion

Diese Forschung stellt einen neuen Ansatz zur bedingten Generierung von Antikörpersequenzen vor, der die Einschränkungen bestehender Protein-Sprachmodelle durch eine bessere Modellierung somatischer Variationen und die Ermöglichung flexibler klassifikatorgeführter Generierung überwindet. Sie schlägt diskrete Diffusions-Feinabstimmung und Keimbahn-absorbierende Diffusion zur Verbesserung des Antikörperdesigns vor.

Antibody Design Diffusion Models computational biology protein language models

RESEARCHarXiv CS.LG·vor 28T

TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment

Trajectory Matching Policy Optimization (TMPO) begegnet dem Problem des Reward Hacking im Reinforcement Learning für Diffusionsmodelle, welches oft zum Modenkollaps führt und die generative Diversität mindert. Es ersetzt die skalare Belohnungsmaximierung durch das Abgleichen der Belohnungsverteilung auf Trajektorien-Ebene, indem es ein Softmax Trajectory Balance-Ziel verwendet, um die Policy-Wahrscheinlichkeiten mit einer belohnungsinduzierten Boltzmann-Verteilung in Einklang zu bringen.

Diffusion Models reinforcement learning AI alignment Generative AI

RESEARCHarXiv CS.LG·vor 28T

LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection

Diffusions-Sprachmodelle (dLLMs) stoßen aufgrund übermäßig konservativer Konfidenzschwellen, die ihr Potenzial für hochparallele Verarbeitung einschränken, an Skalierbarkeitsgrenzen im Parallelismus. Dieses Papier stellt LEAP vor, eine trainingsfreie Plug-and-Play-Methode, die den dLLM-Parallelismus durch Erkennung früh konvergierender Token verbessert und somit die Dekodierung beschleunigt.

Diffusion Models Parallel Computing AI large language models

RESEARCHarXiv CS.AI·vor 12T

Orthogonal Concept Erasure for Diffusion Models

Diese Forschungsarbeit untersucht die Einschränkungen aktueller Methoden zur Konzeptlöschung zur Minderung unerwünschter Inhalte in Diffusionsmodellen. Sie stellt fest, dass additive Parameter-Updates in bearbeitungsbasierten Methoden eine Verflechtung zwischen Konzeptsemantik und der gesamten generativen Kapazität verursachen, und schlägt eine neue Lösung zur Verbesserung von Präzision und Erhalt vor.

Diffusion Models machine learning Concept Erasure AI safety

RESEARCHarXiv CS.LG·vor 7T

Geometry-Aware Tabular Diffusion

Geometry-Aware Tabular Diffusion (GATD) wird für die tabellarische Synthese eingeführt, indem Denoiser mit paarweisen Winkeln und Längen aus Spaltenwertdifferenzen erweitert werden. Es erreicht eine hochmoderne Leistung mit weniger Parametern, reduziert Form- und Trendfehler und zeigt, dass explizite relationale Überwachung die Verbesserung antreibt.

Diffusion Models data synthesis deep learning machine learning

RESEARCHarXiv CS.CL·vor 13T

ICG: Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment

Der Artikel stellt ICG vor, ein neuartiges Framework zur personalisierten Titelbilderzeugung, das MLLM-basiertes Prompting mit Präferenzanpassung kombiniert. Es nutzt semantische Merkmale und Benutzer-Embeddings zur Kontextualisierung des Diffusionsmodells und wendet eine Multi-Reward-Lernstrategie an, um den Mangel an beschrifteter Überwachung zu beheben.

personalization Diffusion Models MLLMs image generation

RESEARCHDEV.to AI·5/4/2026

Learning to Efficiently Sample from Diffusion Probabilistic Models

Diese Forschung konzentriert sich auf die Entwicklung effizienterer Methoden zur Stichprobenentnahme aus Diffusion Probabilistic Models, um den Rechenaufwand und die Zeit für die Generierung hochwertiger Stichproben zu reduzieren. Sie untersucht neuartige Algorithmen zur Beschleunigung des Stichprobenprozesses unter Beibehaltung der Datenintegrität.

Diffusion Models generative models machine learning Sampling Efficiency

RESEARCHYannic Kilcher (YouTube)·12/27/2025

TiDAR: Think in Diffusion, Talk in Autoregression (Paper Analysis)

Dieser Inhalt bietet eine Analyse eines Forschungsartikels, der das TiDAR-Modell untersucht. Das Modell integriert Konzepte von Diffusion und Autoregression für die Verarbeitung.

Diffusion Models AI models Paper analysis Machine learning research

TiDAR: Think in Diffusion, Talk in Autoregression (Paper Analysis)