Most people starting with local LLMs jump straight to 4-bit quantization because it's fast and uses

Este artigo compara a quantização de LLMs em 16, 8 e 4 bits, revelando que a quantização de 4 bits, embora mais rápida, compromete significativamente a qualidade em tarefas de raciocínio e matemática. O compromisso real é entre a tarefa e a precisão necessária, com 8 bits sendo o ideal para tarefas que exigem precisão, minimizando a perda de qualidade com apenas uma pequena redução na velocidade. A escolha da quantização deve basear-se na tarefa e nas considerações de hardware, não apenas no hardware.