Most people starting with local LLMs jump straight to 4-bit quantization because it's fast and uses

Este artículo compara la cuantificación de LLMs de 16, 8 y 4 bits, revelando que la de 4 bits, aunque más rápida, compromete significativamente la calidad en tareas de razonamiento y matemáticas. La verdadera compensación es entre la tarea y la precisión requerida, siendo 8 bits óptimo para tareas que exigen precisión, minimizando la pérdida de calidad con solo una ligera reducción de velocidad. La elección de la cuantificación debe basarse en la tarea y las consideraciones de hardware, no solo en el hardware.