Dieser Inhalt vergleicht die Leistung der 4-Bit- und 8-Bit-quantisierten Versionen von Gemma 4 31B auf einem M5 Max MacBook Pro und stellt überraschend fest, dass die 4-Bit-Version höhere Punktzahlen erzielte (91,3 % vs. 88,4 %). Es wird auch ein Problem festgestellt, bei dem Gemma 4 26B-A4B in eine Regressionsschleife geriet und Antworten nach Erreichen des maximalen Token-Limits von 16.384 abschnitt.
Der Benutzer optimiert ein Transformer-Modell hinsichtlich Größe und Inferenzgeschwindigkeit, ist jedoch nach FP16 und ONNX an ein Plateau gestoßen, da Pruning kaum Gewinne brachte. Er sucht Rat zu nächsten Schritten wie Niederrang-Faktorisierung, aggressiver Quantisierung oder Wissensdestillation für echte Verbesserungen.
Chaperone-Thinking-LQ-1.0, ein 4-bit GPTQ + QLoRA-feinabgestimmtes DeepSeek-R1-32B-Modell, wurde als Open Source veröffentlicht. Es erreicht 84 % Genauigkeit auf MedQA, nahe an GPT-4o, bei einer Größe von nur ~20GB und ist 1,6x schneller als das Basismodell.
Ein alleiniger Gründer und Forscher hat INT3-Modellkomprimierung und einen 2-Bit-KV-Cache mit kundenspezifischen, fusionierten Metal-Kernels für Mac (M-Serie) entwickelt. Qwen 7B ist als Vorschau verfügbar, und weitere Optimierungen sowie GPU-Unterstützung sind geplant.
Der Inhalt behandelt die Optimierung von 512-dimensionalen ArcFace-Embeddings in PostgreSQL, die TOAST-Grenzen überschreiten und den I/O erhöhen. Es wird vorgeschlagen, diese auf 16-Bit (HALFVEC) zu quantisieren, um Speicherplatz und I/O zu halbieren, während die Auswirkungen auf die Präzision hinterfragt werden.
Dieser Folgebericht vergleicht die Modelle Gemma4 26B MoE (Q8), Qwen3.5 27B Dense und Gemma4 31B Dense, einschließlich früherer Ergebnisse von Qwen 3.6 35B und Gemma 4 26B (Q4). Die Analyse bewertet ihre Leistung und hebt den Einfluss der 8-Bit-Quantisierung sowie die Effektivität verschiedener Modellarchitekturen hervor.
Ein Nutzer entdeckte und behob ein signifikantes Tensor-Drift-Problem in den `ssm_conv1d`-Layern quantisierter Qwen3.6-35B GGUF-Modelle und schlug die Wasserstein-Metrik als überlegen gegenüber Kullback-Leibler zur Erkennung numerischer Instabilität vor. Die Korrektur, die speziell auf rekurrente Zustandsübergangsschichten für Langkontextgedächtnis abzielt, ist nun in einem geteilten Modell verfügbar.
Dieser Inhalt beschreibt die Implementierung von Multi-Token Prediction (MTP) mit quantisierten GGUFs für Qwen3-27B, wobei Unsloths UD XL Quantisierungen mit aufgepfropften Q8_0 MTP-Layern verwendet werden, was zu einem 2,5-fachen Durchsatz führt. Der Autor teilt gepfropfte GGUF-Dateien, den Quellcode der MTP-Layer und ein Konvertierungsskript, zusammen mit Build-Anleitungen für eine angepasste llama.cpp-Version, die die spekulative Dekodierungsunterstützung aus einem noch nicht zusammengeführten PR enthält.
Der Autor versuchte, OLMo-3 7B Instruct mittels quantisierungsbewusster Destillation in ein 1-Bit-Format zu quantisieren, indem er das Modell 12 Stunden lang auf 4x B200 GPUs trainierte. Obwohl das resultierende Modell rudimentäres Englisch erzeugen kann, ist es aufgrund von Wiederholungsschleifen und mangelnder Kontextverfolgung – zurückzuführen auf einen vorzeitigen Trainingsabbruch und eine ungeeignete Datensatzwahl – generell unbrauchbar.
Eine umfassende Studie zu TurboQuant vergleicht dessen Varianten (k8v4, 4bit-nc, k3v4-nc, 3bit-nc) mit FP8 für die KV-Cache-Quantisierung. FP8 wird als Standard empfohlen, da es die doppelte Kapazität mit vernachlässigbarem Genauigkeitsverlust und guter Leistung bietet. TurboQuant-Varianten zeigen begrenzte Vorteile oder erhebliche Einbußen bei Genauigkeit und Leistung, wobei 4bit-nc eine Option für speicherbeschränkte Szenarien ist.
Ein Benutzer sucht Ratschläge, welche Qualitäts-Benchmarks durchgeführt werden sollten, um den Leistungsabfall bei der Anwendung von Laufzeit-Quantisierung auf das DeepSeek V3.2 große Sprachmodell zu messen. Ziel ist es, den Qualitätsverlust im Vergleich zur nicht-quantisierten Version zu bewerten.
O autor extraiu os pesos do modelo Gemma 4 em arquivos TFLite e agora busca ajuda da comunidade, especialmente de especialistas em C++, para convertê-los em um módulo Pytorch. O processo envolve desafios como a desquantização INT8 e a exploração de ferramentas como o Google AI Edge Model explorer.
Eine Untersuchung von MiniMax-M2.7 GGUF ergab, dass Perplexity-NaNs 21-38% der GGUFs auf Hugging Face betreffen. Das Problem wurde auf einen Überlauf in llama.cpp zurückgeführt, speziell in `blk.61.ffn_down_exps` für Q5_K- und Q4_K-Quantisierungen, und das Team hat ihren Fehler behoben.
ParoQuant ist eine neuartige Technik, die die paarweise Rotationsquantisierung einsetzt, um die Effizienz der Inferenz von Großen Sprachmodellen (LLM) erheblich zu verbessern. Diese Methode zielt speziell auf Reasoning-LLMs ab und ermöglicht einen kostengünstigeren und schnelleren Einsatz durch Reduzierung der Rechen- und Speicheranforderungen.
Der Autor untersucht, warum ein spezifisches Qwen3.6 27B INT8 Autoround Quantisierungsrezept andere übertrifft, wobei er beobachtet, dass das Modell weniger "denkt", aber bessere Ergebnisse in Benchmarks liefert. Er replizierte diese Leistung dann mit einer neuen GGUF-Quantisierung und stellte fest, dass beide durchweg schneller zu Antworten kommen als UD Q8 K XL.
Dieser Inhalt stellt PrismML und ein neues KI-Konzept namens Ternary Bonsai vor, das behauptet, Top-Intelligenz mit bemerkenswerter Effizienz bei 1.58 Bit zu erreichen. Es behandelt wahrscheinlich Fortschritte in der KI-Modellkomprimierung oder optimierten Leistung.
Dieser Inhalt behandelt eine Herausforderung in llama.cpp bezüglich der asymmetrischen KV q8/q4 Cache-Quantisierung, die zur CPU-Verarbeitung unter CUDA führen kann. Eine GitHub-Diskussion zeigt, dass das Kompilieren mit einer spezifischen KV-Cache-Quantisierungskombination erhebliche Speichereinsparungen bei nur 1,3 % Präzisionsverlust ermöglicht.
O texto explora uma abordagem experimental para indexação de vetores HNSW que utiliza embeddings quantizados de 3 bits, em vez de float32, para reduzir o uso de memória. A técnica, baseada em PolarQuant, permite cálculo de distância eficiente via tabelas pré-computadas, resultando em economia de memória e bom recall, apesar de um processo de construção mais lento e desafios com o ruído de quantização.
Die Qwen3.6-35B-A3B "Aggressive" Variante wurde veröffentlicht und bietet eine unzensierte Version des Originalmodells ohne Ablehnungen und keinerlei Funktionsverlust. Diese Veröffentlichung umfasst verschiedene K_P Quantisierungen sowie Bildunterstützung.
Dieser Inhalt vergleicht verschiedene GGUF-Quantisierungen des Qwen3.5-9B-Modells mittels KL-Divergenz (KLD), um deren Treue zur BF16-Baseline zu bewerten. Ziel ist es, Nutzern eine datengestützte Grundlage für die Auswahl der treuesten quantisierten Datei zu bieten, wobei niedrigere KLD-Werte auf einen geringeren Informationsverlust hindeuten.
