model quality

2 items

RESEARCH↑ trendingReddit r/LocalLLaMA·06/05/2026

Quality comparison between Qwen 3.6 27B quantizations (BF16, Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS, IQ3_XXS,...)

O conteúdo compara a qualidade de diferentes quantizações do modelo Qwen 3.6 27B através de um teste de xadrez para identificar a melhor opção para setups com 16 GB de VRAM. O teste avalia a capacidade dos modelos de rastrear o estado do tabuleiro e gerar imagens SVG corretas.

VRAM Benchmarking quantization model quality

Quality comparison between Qwen 3.6 27B quantizations (BF16, Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS, IQ3_XXS,...)

RESEARCHarXiv CS.LG·22d atrás

Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

Este estudo investiga o impacto da quantização pós-treinamento na qualidade dos Grandes Modelos de Linguagem (LLMs), revelando que a compressão pode levar ao surgimento de vieses. A quantização de 3 bits fez com que 6-21% dos itens anteriormente imparciais desenvolvessem novos comportamentos estereotipados em modelos como Qwen2.5-7B, Mistral-7B e Phi-3.5-mini.

Model Compression LLMs quantization model quality