When I started running models locally, I thought quantization meant squeezing more into RAM. Turns o

O artigo aconselha contra o uso padrão de Q4_K_M para inferência local de LLMs, destacando que o desempenho ideal vem do teste de níveis de quantização adaptados a fluxos de trabalho específicos. Sugere que quantizações agressivas como Q3_K_S podem reduzir significativamente a latência com perda de qualidade imperceptível para muitas tarefas, embora o comprimento do contexto apresente uma desvantagem.