Der Artikel stellt DiBS vor, einen neuartigen, diffusionsmodellgesteuerten Ansatz zur Zweigauswahl beim Lösen von Sudoku, einem Problem der Nebenbedingungserfüllung. Er verbessert symbolische Löser durch die Verwendung eines Diffusionsmodells zur Steuerung der Zweiganordnung, um Vollständigkeit zu gewährleisten und Probleme bei der Langschwanzsuche zu mildern.
Dieses Papier stellt das On-Policy Diffusion Language Model (OPDLM) vor, um autoregressive Modelle (ARLMs) in Diffusions-Sprachmodelle (DLMs) umzuwandeln. Es befasst sich mit Problemen wie Wissensverlust und der Diskrepanz zwischen Training und Inferenz durch den Einsatz von On-Policy Distillation (OPD).
Die Arbeit stellt "bicache" vor, die erste KV-Caching-Technik für geteilte Präfixe in Diffusions-Sprachmodellen (DLMs), die Herausforderungen angeht, bei denen bestehende LLM-Caching-Methoden aufgrund der bidirektionalen Aufmerksamkeit von DLMs versagen. Dieser neue Ansatz zielt darauf ab, einen hohen Durchsatz beim DLM-Serving zu ermöglichen, indem er Erkenntnisse über die Stabilität geteilter Präfix-KVs in flachen Schichten nutzt.
DMax é um novo paradigma para modelos de linguagem de difusão (dLLMs) eficientes que mitiga o acúmulo de erros na decodificação paralela. Ele permite um paralelismo agressivo ao reformular a decodificação como um processo de auto-refinamento progressivo e introduzir uma estratégia de treinamento unificada.
Der Autor hat ein Diffusions-Sprachmodell von Grund auf neu entwickelt, um komplexe Konzepte besser zu verstehen, ohne die Hilfe von KI-generiertem Code. Er trainierte das 7,5M-Parameter-Modell mit dem winzigen Shakespeare-Datensatz und teilte den Code auf GitHub.
Diffusions-Large Language Models (dLLMs) leiden unter einem "Stabilitätsrückstand" aufgrund irreversibler Token-Commitments, ein Problem, das durch Fehler bei der Post-Training Quantization (PTQ) verschärft wird. FAIR-Calib schlägt ein zweistufiges PTQ-Framework vor, das ein Positions-Prior und schichtweise Kalibrierung nutzt, um fragile Grenzschichtzustände zu schützen und so die Quantisierung für dLLMs zu verbessern.
Der Autor erforscht die Schönheit und Ehrlichkeit des Anhaltens von Diffusionsmodellen mitten im Rendering, wobei er diese unfertigen Bilder als aufschlussreicher empfindet als polierte Endbilder. Diese Phasen, in denen KI-Modelle noch „denken“ und Merkmale aus ihren Trainingsdaten aushandeln, werden eher als „Geständnis“ denn als „Aussage“ beschrieben.
Dieses Papier schlägt eine neue Technik, das Token-to-Mask (T2M) Remasking, zur Verfeinerung maskierter Diffusions-Sprachmodelle wie LLaDA2.1 vor. Die Methode behebt die Mängel der Token-to-Token (T2T)-Bearbeitung, indem sie verdächtige Token in einen Maskierungszustand zurücksetzt, was eine genauere Neuprädiktion ermöglicht.
Discrete Tilt Matching (DTM) ist eine neue, wahrscheinlichkeitstheorie-freie Methode zum Fine-Tuning maskierter Diffusions-Sprachmodelle (dLLMs), die das Problem der nicht bestimmbaren marginalen Wahrscheinlichkeiten löst. Sie formuliert das Fine-Tuning als Zustandsabgleich um und verwendet ein gewichtetes Kreuzentropie-Ziel mit Kontrollvariablen, wodurch sie signifikante Verbesserungen bei Aufgaben wie Sudoku und Countdown erzielt.
Diese Arbeit enthüllt eine kritische Schwachstelle in diffusionsbasierten Sprachmodellen (dLLMs), deren Sicherheitsausrichtung, basierend auf monotonen Entrauschungsplänen, leicht umgangen werden kann. Durch das Neumaskieren von Ablehnungs-Tokens und das Injizieren eines bejahenden Präfixes erzielten Forscher hohe Angriffserfolgsraten gegen prominente dLLMs und legten damit einen strukturellen Fehler offen.
Diese Arbeit bietet eine theoretische Erklärung für die Effizienz von Diffusionsmodellen beim Erlernen der Score-Funktion für hochdimensionale Daten auf niedrigdimensionalen Mannigfaltigkeiten. Sie identifiziert einen „Kollaps-und-Verfeinerungs“-Mechanismus, der durch die Geometrie der Score-Funktion angetrieben wird, wobei die Entrauschungsabbildung auf die Datenmannigfaltigkeit projiziert wird und die intrinsische Dichte verfeinert wird.
OpenAIs neues gpt-image-2-Modell hat das langjährige Problem gelöst, dass KI-Modelle Text und komplexe Layouts in Bildern nicht genau wiedergeben konnten. Dieser architektonische Wandel stellt einen bedeutenden Fortschritt dar, der eine Neubewertung von auf Diffusionsmodellen basierenden Arbeitsabläufen erfordert.
Diese Forschung vereinheitlicht Transformatoren, Diffusionskarten und magnetische Laplacians und präsentiert sie als verschiedene Regime einer einzigen Markov-Geometrie, die aus Pre-Softmax-Query-Scores aufgebaut ist. Sie definiert eine QK-"Bidivergenz", um Attention und Diffusion zu verbinden und ihre Dynamik mittels Produkt von Experten und Schrödinger-Brücken zu organisieren.
Diffusionssprachmodelle erzielen nun erhebliche Durchsatzsteigerungen und verringern den Abstand zu autoregressiven Decodern bei der Inferenzgeschwindigkeit. Neue Introspektive Diffusionssprachmodelle (I-DLM) beheben frühere Probleme der introspektiven Konsistenz und ineffizienter Sampling-Schleifen, wodurch sowohl Qualität als auch Latenz verbessert werden.
Diese Forschung optimiert systematisch die Inferenz von Echtzeit-Diffusionsmodellen auf dem Apple M3 Ultra und untersucht verschiedene Techniken wie CoreML-Konvertierung und Quantisierung. Die Studie erreichte 22.7 FPS für die 512x512 img2img-Transformation durch die Kombination der CoreML-Konvertierung des SDXS-512 mit einer 3-Thread-Kamerapipeline.
Dieser Artikel untersucht, warum KI-Bildgeneratoren wie Stable Diffusion und Midjourney konsequent bei der korrekten Textdarstellung versagen, was an der Art und Weise liegt, wie Diffusionsmodelle visuelle Muster lernen. Jedoch deutet er auf die Existenz eines Modells hin, das diese häufige Einschränkung endlich überwunden hat.
Diese Arbeit untersucht die Einschränkungen gleichmäßiger Interventionen in diskreten Diffusions-Sprachmodellen (DLMs) und zeigt, dass diese die Qualität der gesteuerten Generierung verschlechtern. Die Autoren stellen fest, dass verschiedene Attribute zu unterschiedlichen Zeitpunkten im Denoising-Prozess fixiert werden, und schlagen einen adaptiven Planer vor, um Interventionen effizient zu konzentrieren.
FLUID ist ein neues Framework, das autoregressive (AR) Backbones effizient an das Diffusionsparadigma zur parallelen Textgenerierung anpasst. Es ermöglicht die Initialisierung von GPT-Modellen und führt einen dynamischen Entrauschungsmechanismus ein, wodurch Spitzenleistungen bei erheblich reduzierten Trainingskosten erzielt werden.
Este trabalho explora o agendamento de modelos para acelerar os Modelos de Linguagem de Difusão Mascarada (MDLMs), substituindo o modelo completo por um menor em certas etapas de denoising. A pesquisa mostra que as etapas iniciais e finais são mais robustas a essa substituição, permitindo uma redução de até 17% nos FLOPs com degradação mínima na perplexidade generativa.
Diese Forschung stellt LIFT vor, einen lerbarkeitsinformierten Fine-Tuning-Algorithmus, der entwickelt wurde, um die Schlussfolgerungsfähigkeiten von Diffusions-Sprachmodellen zu verbessern. LIFT behebt Mängel des Standard-SFT, indem es Token adaptiv basierend auf deren Schwierigkeit und dem verfügbaren Kontext während verschiedener Diffusionszeitschritte lernt und dabei eine verbesserte Leistung gegenüber bestehenden Baselines zeigt.