Dieser Inhalt beschreibt eine native DFlash-Implementierung auf MLX für Apple Silicon, die die Token-Generierung in Qwen-Modellen erheblich beschleunigt. Die spekulative Dekodierungstechnik erreicht Beschleunigungen von bis zu 3,3x bei gleichbleibender Ausgabequalität.
Dieser Inhalt beschreibt die Implementierung von Multi-Token Prediction (MTP) mit quantisierten GGUFs für Qwen3-27B, wobei Unsloths UD XL Quantisierungen mit aufgepfropften Q8_0 MTP-Layern verwendet werden, was zu einem 2,5-fachen Durchsatz führt. Der Autor teilt gepfropfte GGUF-Dateien, den Quellcode der MTP-Layer und ein Konvertierungsskript, zusammen mit Build-Anleitungen für eine angepasste llama.cpp-Version, die die spekulative Dekodierungsunterstützung aus einem noch nicht zusammengeführten PR enthält.
Der Inhalt beschreibt ein Experiment, das erhebliche Geschwindigkeitssteigerungen (bis zu 68.35 Tokens/s) durch spekulatives Decoding mit dem Qwen-3.6-27B Modell über llamacpp zeigt. Der Autor demonstriert die Fähigkeit der KI, Code effizient zu generieren und zu debuggen.
Ein Benutzer untersucht, warum spekulative Dekodierungsmethoden wie MTP und N-gramm in llama.cpp nicht gleichzeitig kombiniert werden können, wobei N-gramm erhebliche Verbesserungen für das agentische Programmieren bietet. Er möchte wissen, ob dies eine grundlegende oder implementierungsbedingte Einschränkung ist, und stellt fest, dass andere dieselbe Frage bereits gestellt haben.
Luce DFlash stellt einen GGUF-Port der DFlash spekulativen Dekodierung für Qwen3.6-27B vor, der auf einer einzelnen RTX 3090 fast den doppelten Durchsatz erreicht. Dieser eigenständige C++/CUDA-Stack, als MIT-lizenzierte Open-Source-Software verfügbar, steigert die LLM-Leistung auf Consumer-Hardware erheblich.
Tests zum spekulativen Decoding, bei denen Gemma 4 E2B als Entwurf für Gemma 4 31B verwendet wurde, zeigten eine bemerkenswerte Leistungsverbesserung. Die durchschnittliche Geschwindigkeit stieg um 29 %, erreichte in der Codegenerierung sogar 50 %, und das mit spezifischen Hard- und Softwarekonfigurationen.
Ein neues edukatives Implementierungs-Repository für spekulatives Decoding wurde veröffentlicht, das verschiedene Methoden wie EAGLE-3 und Medusa-1 von Grund auf implementiert, um das Studium der Unterschiede zwischen Proposer-Designs zu erleichtern. Es umfasst Trainings- und Inferenzpfade für Modelle wie Qwen/Qwen2.5-7B-Instruct und zielt darauf ab, den Unterschied zwischen Proposer-Qualität und Verifizierer-Kosten sowie die Ursache, warum eine hohe Akzeptanzrate nicht immer einen höheren Durchsatz bedeutet, zu verdeutlichen.
Dieses Papier schlägt SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) vor, um Retrieval-basierte Spekulative Dekodierung (RSD) für LLMs zu verbessern. SENSE adressiert die starren lexikalischen Abhängigkeiten von RSD, indem es robuste semantische Ausrichtung und ein Soft-gated Evaluationsmodul verwendet, um semantische Äquivalenz zu validieren.
Diese Arbeit bewertet spekulatives Decoding mit EAGLE3 zur Optimierung des PayPal Commerce Agenten, der auf feinabgestimmten Nemotron-Modellen basiert. Die Studie zeigt signifikante Leistungsverbesserungen, darunter eine Steigerung des Durchsatzes um 22-49% und eine Latenzreduktion um 18-33% ohne zusätzliche Hardwarekosten.
Super Apriel, ein 15 Milliarden Parameter großer Supernet, wurde veröffentlicht, der vier trainierte Mixer-Optionen pro Decoder-Schicht bietet, um mehrere Geschwindigkeits-/Qualitätseinstellungen aus einem einzigen Checkpoint zu ermöglichen. Dies führt zu einem 2.9x bis 10.7x höheren Decodierungsdurchsatz bei einer Qualitätserhaltung von 96% bis 77% und ermöglicht auch die spekulative Decodierung ohne ein separates Entwurfsmodell.
Dieser Inhalt beschreibt ein dreimonatiges Experiment zur Optimierung der Dekodierungsleistung des Qwen3.6-27B-Modells auf einer RTX 3090 Ti GPU. Das Projekt verbesserte erfolgreich die Dekodierungsgeschwindigkeit von 43 auf 39-49 Token pro Sekunde unter Verwendung einer neuen spekulativen Dekodierungstechnik (MTP) in llama.cpp.
SpecTr-GBV ist eine neuartige spekulative Decodierungsmethode, die Multi-Draft- und Greedy-Block-Verifizierung vereint, um die Inferenz von Sprachmodellen zu beschleunigen. Sie formuliert den Verifizierungsschritt als optimales Transportproblem, was die theoretische Effizienz und die empirische Leistung verbessert, indem sie die optimal erreichbare erwartete Akzeptanzlänge erreicht.
PARSE (PArallel pRefix Speculative Engine) ist ein neues Framework für spekulative Generierung, das die Inferenz großer Sprachmodelle (LLMs) beschleunigt. Dies gelingt durch die Parallelisierung der Präfixverifizierung auf semantischer Ebene, wodurch bestehende Einschränkungen durch die Bewertung der Korrektheit über mehrere Präfixe in einem einzigen Durchlauf überwunden werden.
Diese Forschung bewertet spekulatives Decoding für polnische LLMs auf Apple Silicon und erweitert das MLX-LM-Framework um Universal Assisted Generation (UAG) für Cross-Tokenizer-Kompatibilität. Experimente zeigen, dass kontextbewusste Token-Übersetzung die Akzeptanzraten für Bielik 11B auf polnischsprachigen Datensätzen signifikant verbessert.
EvoSpec stellt ein Framework für die Echtzeitentwicklung von Entwurfsmodellen in der spekulativen Dekodierung für große Sprachmodelle vor, das das Problem großer Vokabulargrößen angeht. Es verwendet dynamische Vokabular- und Parameteranpassung mittels eines kontextsensitiven Mechanismus und einer leichten Online-Abgleichstrategie zur Verbesserung der Akzeptanzraten und Minimierung von Verteilungsunterschieden.
Aurora ist ein Open-Source-RL-Framework, das entwickelt wurde, um spekulatives Dekodieren selbst zu verbessern, indem es von jeder bedienten Anfrage lernt. Es erzielt eine 1,25-fache Leistungssteigerung gegenüber gut trainierten statischen Spekulatoren.
AWS optimiert die LLM-Inferenz mit spekulativer Dekodierung auf Trainium und vLLM, und das Spring AI SDK für Bedrock AgentCore ist jetzt allgemein verfügbar. Neue Forschung untersucht zudem Fehler in agentischen Systemen, die Quantifizierung von CNN-Unsicherheiten und die Rolle von LLMs im klinischen Denken.
Eine Frage zur spekulativen Dekodierung hebt eine bemerkenswerte Geschwindigkeitssteigerung von 665 % hervor. Dieses Thema deutet auf eine technische Diskussion über die Optimierung von KI-Modellen hin.