Este contenido compara el rendimiento de las versiones cuantificadas de 4 bits y 8 bits de Gemma 4 31B en un MacBook Pro M5 Max, encontrando sorprendentemente que la versión de 4 bits obtuvo una puntuación más alta (91.3% vs 88.4%). También señala un problema donde Gemma 4 26B-A4B entró en un bucle de regresión, truncando las respuestas al alcanzar el límite máximo de tokens de 16,384.
El usuario optimiza un modelo Transformer para tamaño y velocidad de inferencia, pero ha alcanzado una meseta tras FP16 y ONNX, sin ganancias significativas con poda u optimizaciones de grafo. Busca orientación sobre siguientes pasos como factorización de bajo rango, cuantificación agresiva o destilación de conocimiento para mejoras reales.
Se ha lanzado en código abierto Chaperone-Thinking-LQ-1.0, un modelo DeepSeek-R1-32B de 4 bits cuantizado con GPTQ y ajustado con QLoRA. Este modelo alcanza un 84% de precisión en MedQA, cerca de GPT-4o, con un tamaño de solo ~20GB y es 1.6 veces más rápido que el modelo base.
Un investigador y fundador solitario desarrolló compresión de modelos INT3 y una caché KV de 2 bits con kernels Metal personalizados para Mac (M-series). Qwen 7B está disponible en vista previa, y se planean optimizaciones adicionales y soporte para GPU.
El texto discute la optimización de embeddings ArcFace de 512 dimensiones en PostgreSQL, que exceden el límite TOAST y aumentan la E/S. Se propone cuantificarlos a 16 bits (HALFVEC) para reducir el almacenamiento y la E/S a la mitad, cuestionando el impacto en la precisión.
Este seguimiento compara los modelos Gemma4 26B MoE (Q8), Qwen3.5 27B Dense y Gemma4 31B Dense, incluyendo resultados anteriores de Qwen 3.6 35B y Gemma 4 26B (Q4). El análisis evalúa su rendimiento, destacando el impacto de la cuantificación de 8 bits y la eficacia de diferentes arquitecturas de modelo.
Un usuario descubrió y solucionó un problema significativo de deriva de tensor en las capas `ssm_conv1d` de los modelos Qwen3.6-35B GGUF cuantificados, proponiendo la métrica de Wasserstein como superior a Kullback Leibler para detectar inestabilidad numérica. La solución, que se dirige específicamente a las capas de transición de estado recurrente responsables de la memoria de contexto largo, ya está disponible en un modelo compartido.
Este contenido detalla la implementación de la Predicción Multitoken (MTP) con GGUF cuantificados para Qwen3-27B, utilizando cuantificaciones UD XL de Unsloth con capas MTP injertadas en Q8_0, lo que resulta en un aumento de rendimiento de 2,5x. El autor comparte archivos GGUF injertados, la fuente de la capa MTP y un script de conversión, junto con instrucciones de construcción para una versión personalizada de llama.cpp que incorpora soporte de decodificación especulativa de una PR no fusionada.
El autor intentó cuantizar OLMo-3 7B Instruct a un formato de 1-bit mediante destilación consciente de cuantificación, entrenando el modelo durante 12 horas en 4x B200 GPUs. Aunque el modelo resultante puede producir inglés básico, es generalmente inutilizable debido a bucles de repetición y falta de seguimiento de contexto, atribuido a la interrupción temprana del entrenamiento y una elección de conjunto de datos inadecuada.
Un estudio exhaustivo sobre TurboQuant compara sus variantes (k8v4, 4bit-nc, k3v4-nc, 3bit-nc) con FP8 para la cuantificación de caché KV. Se recomienda FP8 como predeterminado, ofreciendo el doble de capacidad con una pérdida de precisión insignificante y un buen rendimiento. Las variantes de TurboQuant muestran ventajas limitadas o una degradación significativa en la precisión y el rendimiento, siendo 4bit-nc una opción para escenarios con restricciones de memoria.
Un usuario busca consejo sobre qué benchmarks de calidad ejecutar para medir la degradación del rendimiento al aplicar cuantificación en tiempo de ejecución al modelo de lenguaje grande DeepSeek V3.2. El objetivo es comparar la pérdida de calidad con la versión no cuantificada.
O autor extraiu os pesos do modelo Gemma 4 em arquivos TFLite e agora busca ajuda da comunidade, especialmente de especialistas em C++, para convertê-los em um módulo Pytorch. O processo envolve desafios como a desquantização INT8 e a exploração de ferramentas como o Google AI Edge Model explorer.
Una investigación sobre MiniMax-M2.7 GGUF encontró que los NaNs en la perplejidad afectan al 21-38% de los GGUF en Hugging Face. El problema se atribuyó a desbordamientos en llama.cpp, específicamente en `blk.61.ffn_down_exps` para cuantificaciones Q5_K y Q4_K, y el equipo corrigió los suyos.
ParoQuant es una técnica novedosa que emplea cuantización de rotación por pares para mejorar significativamente la eficiencia de la inferencia de Modelos de Lenguaje Grandes (LLM). Este método se dirige específicamente a los LLM de razonamiento, permitiendo una implementación más económica y rápida al reducir los requisitos computacionales y de memoria.
El autor investiga por qué una receta específica de cuantificación Qwen3.6 27B INT8 Autoround supera a otras, observando que el modelo "piensa" menos pero proporciona mejores resultados en los benchmarks. Luego replicó este rendimiento con una nueva cuantificación GGUF, señalando que ambas consistentemente obtienen respuestas más rápido que UD Q8 K XL.
Este contenido presenta PrismML y un nuevo concepto de IA llamado Ternary Bonsai, que afirma alcanzar la máxima inteligencia con una eficiencia notable de 1.58 bits. Probablemente discute avances en la compresión de modelos de IA o rendimiento optimizado.
Este contenido aborda un desafío en llama.cpp sobre la cuantificación asimétrica del caché KV q8/q4, que puede llevar al procesamiento en CPU con CUDA. Una discusión en GitHub sugiere que compilar con una combinación específica de cuantificación de caché KV, incluso sin FA_ALL_QUANTS, ofrece un ahorro sustancial de memoria con solo una pérdida de precisión del 1,3%.
O texto explora uma abordagem experimental para indexação de vetores HNSW que utiliza embeddings quantizados de 3 bits, em vez de float32, para reduzir o uso de memória. A técnica, baseada em PolarQuant, permite cálculo de distância eficiente via tabelas pré-computadas, resultando em economia de memória e bom recall, apesar de um processo de construção mais lento e desafios com o ruído de quantização.
Se ha lanzado la variante "Aggressive" del Qwen3.6-35B-A3B, una versión sin censura del modelo original, sin rechazos y con cero pérdida de capacidad. Esta versión incluye varias cuantificaciones K_P y soporte de visión.
Este contenido compara diferentes cuantificaciones GGUF del modelo Qwen3.5-9B, utilizando la Divergencia KL (KLD) para evaluar la fidelidad respecto a la línea base BF16. El objetivo es proporcionar a los usuarios una base de datos para elegir el archivo cuantificado más fiel, con puntuaciones KLD más bajas que indican una menor pérdida de información.
