Der Benutzer optimiert ein Transformer-Modell hinsichtlich Größe und Inferenzgeschwindigkeit, ist jedoch nach FP16 und ONNX an ein Plateau gestoßen, da Pruning kaum Gewinne brachte. Er sucht Rat zu nächsten Schritten wie Niederrang-Faktorisierung, aggressiver Quantisierung oder Wissensdestillation für echte Verbesserungen.
Ein alleiniger Gründer und Forscher hat INT3-Modellkomprimierung und einen 2-Bit-KV-Cache mit kundenspezifischen, fusionierten Metal-Kernels für Mac (M-Serie) entwickelt. Qwen 7B ist als Vorschau verfügbar, und weitere Optimierungen sowie GPU-Unterstützung sind geplant.
Der Autor zeigt, dass die Kombination des Qwen3.6-35B-Modells mit dem „little-coder“-Agenten dessen Leistung im Polyglot-Benchmark drastisch auf 78,7 % verbessert, wodurch es mit Top-Cloud-Modellen konkurrenzfähig wird. Diese Erkenntnis deutet darauf hin, dass eine „Geschirr-Fehlanpassung“ in den Testaufbauten Leistungsunterschiede zwischen lokalen und Cloud-KI-Modellen erklären könnte.
Ein Nutzer entdeckte und behob ein signifikantes Tensor-Drift-Problem in den `ssm_conv1d`-Layern quantisierter Qwen3.6-35B GGUF-Modelle und schlug die Wasserstein-Metrik als überlegen gegenüber Kullback-Leibler zur Erkennung numerischer Instabilität vor. Die Korrektur, die speziell auf rekurrente Zustandsübergangsschichten für Langkontextgedächtnis abzielt, ist nun in einem geteilten Modell verfügbar.
Qwen 3.6 wird jetzt mit einem neuen `preserve_thinking`-Flag ausgeliefert, das das Problem der KV-Cache-Invalidierung durch Beibehaltung des vollständigen Argumentationskontexts des Modells behebt. Diese Funktion ist besonders vorteilhaft für Agenten-Szenarien, da sie die Entscheidungskonsistenz verbessert und den Token-Verbrauch sowie die KV-Cache-Nutzung optimiert.
Ein Benutzer sucht Ratschläge, welche Qualitäts-Benchmarks durchgeführt werden sollten, um den Leistungsabfall bei der Anwendung von Laufzeit-Quantisierung auf das DeepSeek V3.2 große Sprachmodell zu messen. Ziel ist es, den Qualitätsverlust im Vergleich zur nicht-quantisierten Version zu bewerten.
Macrocosmos hat ResBM eingeführt, eine neue Transformator-basierte Architektur für Pipeline-paralleles Training mit geringer Bandbreite. Sie erreicht eine 128-fache Aktivierungskompression ohne signifikanten Konvergenzverlust im Vergleich zu unkomprimierten Baselines.
Ein Kaggle-Wettbewerb wurde gestartet, der sich auf die Optimierung der Token-Kosten für LLM-Antworten konzentriert, indem entschieden wird, ob ein kleines Modell ausgeführt oder eine Frage übersprungen werden soll. Ziel ist es, die gewichteten Kosten zu minimieren, unter Berücksichtigung von Rechenkosten, Fehlschlägen und Strafen für das Überspringen einer korrekten Antwort.
Ein Benutzer stellte fest, dass die INT8-Quantisierung in seinem Deep-Learning-Modell eine bessere Inferenzgenauigkeit als FP16 lieferte, was unerwartet war. Er sucht nach Erklärungen für die überlegene Leistung von INT8 gegenüber FP16.
Diese Arbeit präsentiert eine notwendige Bedingung für das Design von Intragruppen-Lernalgorithmen im Reinforcement Learning, die erfordert, dass Zielsetzungen die Gradienten-Austauschbarkeit über Token-Updates hinweg aufrechterhalten, um belohnungsirrelevanten Drift zu verhindern. Sie schlägt minimale Transformationen vor, um diese Aufhebungsstruktur wiederherzustellen, was das Training stabilisiert und die Stichprobeneffizienz verbessert.
O1-Pruner stellt eine längen-harmonisierende Feinabstimmungsmethode zur Optimierung von Modellen für O1-ähnliches Reasoning-Pruning vor. Diese Technik zielt darauf ab, die Denkfähigkeiten von KI-Modellen zu verbessern.
Parcae ist ein stabiles, geschleiftes Sprachmodell, das die Qualität eines doppelt so großen Transformers mit weniger Parametern erreicht. Es führt die ersten Skalierungsgesetze für Schleifenmodelle ein und zeigt, dass die Erhöhung der Rekurrenz ein recheneffizienter Weg zu besserer Leistung ist.
Diese Forschung stellt die sequentielle KV-Kompression vor, eine neuartige zweischichtige Architektur für Transformer-Schlüssel-Wert-Caches, die die pro-Vektor-Shannon-Grenze übertrifft. Sie nutzt die sequentielle Natur von KV-Cache-Tokens mittels probabilistischer Präfix-Deduplizierung und prädiktiver Delta-Kodierung für effizientere Kompression.
SoLA é um novo método de compressão sem treinamento para LLMs, que utiliza esparsidade de ativação suave e decomposição de baixo-rank. Ele identifica componentes cruciais para a inferência e comprime a maioria, visando reduzir parâmetros de modelos de linguagem grandes de forma eficiente e acessível.
PrismML hat Bonsai Image 4B auf den Markt gebracht, eine Familie von Bildgenerierungsmodellen, die 1-Bit- oder ternäre Gewichte verwenden, um hochwertige Diffusion direkt auf Geräten wie iPhones auszuführen. Diese Innovation ermöglicht eine 8,3-fache Modellkomprimierung, wodurch die Größe von 7,75 GB auf 0,93 GB reduziert wird, während bis zu 95 % der ursprünglichen Qualität erhalten bleiben.
Jüngste Fortschritte in der KI/ML-Forschung verbessern die Modelleffizienz und Inferenzgeschwindigkeit in verschiedenen Anwendungen erheblich. Techniken wie Wissensdestillation mit Low-Rank-Adaptern, verbesserte On-Policy-Destillation, der Pion-Optimierer und Prune-Then-Distill-Methoden senken die Rechenkosten und ermöglichen einen breiteren Einsatz fortschrittlicher KI-Modelle.
Dieses Papier stellt ein hoch-effizientes Retrieval-Augmented Generation (RAG)-System für die ukrainische Dokumenten-Fragenbeantwortung vor, das den 2. Platz in der UNLP 2026 Shared Task erreichte. Es nutzt eine angepasste Hybridsuche und ein optimiertes ukrainisches Sprachmodell, komprimiert für qualitativ hochwertige, lokale Bereitstellung auf ressourcenbeschränkter Hardware.
Diese Forschung stellt EdgeRazor vor, ein leichtgewichtiges Framework zur Bereitstellung großer Sprachmodelle auf ressourcenbeschränkten Geräten. Es nutzt gemischt-präzise quantisierungsbewusste Destillation, um Modelle voller Präzision in Formate mit geringerer Bitrate umzuwandeln und so die Einschränkungen früherer Quantisierungsmethoden zu überwinden.
PP-LCNet stellt ein leichtes Convolutional Neural Network vor, das für effiziente Leistung auf CPUs optimiert ist. Diese Architektur konzentriert sich darauf, hohe Genauigkeit bei minimalen Rechenanforderungen zu erzielen, ideal für ressourcenbeschränkte Umgebungen.
Diffusions-Sprachmodelle (dLLMs) stoßen aufgrund übermäßig konservativer Konfidenzschwellen, die ihr Potenzial für hochparallele Verarbeitung einschränken, an Skalierbarkeitsgrenzen im Parallelismus. Dieses Papier stellt LEAP vor, eine trainingsfreie Plug-and-Play-Methode, die den dLLM-Parallelismus durch Erkennung früh konvergierender Token verbessert und somit die Dekodierung beschleunigt.