Cloudflare hat Unweight entwickelt, ein verlustfreies Kompressionssystem, das LLM-Gewichte um 15–22 % reduziert, um Engpässe bei der GPU-Inferenz zu überwinden. Es komprimiert die Exponenten-Bytes von BF16-Gewichten mittels Huffman-Codierung und bewahrt bitgenaue Ausgaben.
Der Inhalt hebt Inferenzoptimierung als den kritischen Trend hervor, der die LLM-Infrastruktur bis 2026 prägen wird, und betont deren Bedeutung gegenüber der Modellgröße. Es wird erklärt, dass Training zwar eine einmalige Ausgabe ist, Inferenz jedoch eine fortlaufende Ausgabe darstellt, die Margen und Benutzererfahrung direkt beeinflusst und Effizienz somit entscheidend macht.
Dieses Papier stellt eine zweidimensionale Early-Exit-Strategie für Klassifizierungsaufgaben in LLMs vor, die schicht- und satzweise Beendigung koordiniert. Die Methode erzielt multiplikative Rechenzeitersparnisse und Beschleunigungen von 1,4-2,3x gegenüber optimalem schichtweisem Early Exit, besonders bei einfacheren Aufgaben mit verschiedenen LLMs.
Dieses Papier schlägt SENSE (Semantic Embedding Navigation with Soft-gated Evaluation) vor, um Retrieval-basierte Spekulative Dekodierung (RSD) für LLMs zu verbessern. SENSE adressiert die starren lexikalischen Abhängigkeiten von RSD, indem es robuste semantische Ausrichtung und ein Soft-gated Evaluationsmodul verwendet, um semantische Äquivalenz zu validieren.
TTKV schlägt ein zeitlich gestaffeltes KV-Cache-Management-Framework für LLMs vor, das von menschlichen Gedächtnissystemen inspiriert ist, um das Problem der linearen Skalierung des KV-Cache-Speichers zu lösen. Es teilt den Cache in Schichten mit heterogener Kapazität und Präzision auf, wobei neuere KV-Zustände schnelleren, hochpräzisen Schichten zugewiesen werden.
Dieser Artikel erörtert das Problem unerwartet steigender LLM-Produktionskosten und erklärt, dass die Ursache nicht die direkten Modellkosten, sondern frühe Designentscheidungen sind. Ein Hauptfehler ist dabei die Nutzung eines einzigen, teuren Inferenz-Endpunkts für alle Anfragetypen ohne Optimierung.
DeepSeek V4 bietet einen tatsächlich nutzbaren Kontext von 1 Million Token, indem es das GPU-Speicherproblem mit einer hybriden Aufmerksamkeitsarchitektur löst, die den KV-Cache um fast das Neunfache komprimiert. Dies macht es im Gegensatz zu vielen anderen Modellen zu einer praktischen Lösung für die Langkontext-Inferenz.
Dieses Papier stellt das Length Value Model (LenVM) vor, ein neuartiges Token-Level-Framework zur Modellierung der verbleibenden Generierungslänge in autoregressiven Modellen. Durch die Formulierung der Längenmodellierung als Wertschätzungsproblem liefert LenVM ein annotationsfreies, skalierbares und effektives Signal für LLMs und VLMs, das die Leistung bei Aufgaben mit exakter Längenübereinstimmung verbessert.
SpecTr-GBV ist eine neuartige spekulative Decodierungsmethode, die Multi-Draft- und Greedy-Block-Verifizierung vereint, um die Inferenz von Sprachmodellen zu beschleunigen. Sie formuliert den Verifizierungsschritt als optimales Transportproblem, was die theoretische Effizienz und die empirische Leistung verbessert, indem sie die optimal erreichbare erwartete Akzeptanzlänge erreicht.
Dieses Papier stellt TRACES vor, ein leichtgewichtiges Framework zur Optimierung von Sprachbegründungsmodellen (LRMs) durch das Echtzeit-Tagging von Begründungsschritten. Es ermöglicht ein adaptives, kosteneffizientes vorzeitiges Beenden von LRM-Inferenzen und adressiert deren derzeitige Ineffizienz und die Überproduktion von Verifizierungsschritten.
Diese Forschung bewertet spekulatives Decoding für polnische LLMs auf Apple Silicon und erweitert das MLX-LM-Framework um Universal Assisted Generation (UAG) für Cross-Tokenizer-Kompatibilität. Experimente zeigen, dass kontextbewusste Token-Übersetzung die Akzeptanzraten für Bielik 11B auf polnischsprachigen Datensätzen signifikant verbessert.