Quantization Undoes Alignment: Bias Emergence in Compressed LLMs Across Models and Precision Levels

Este estudo investiga o impacto da quantização pós-treinamento na qualidade dos Grandes Modelos de Linguagem (LLMs), revelando que a compressão pode levar ao surgimento de vieses. A quantização de 3 bits fez com que 6-21% dos itens anteriormente imparciais desenvolvessem novos comportamentos estereotipados em modelos como Qwen2.5-7B, Mistral-7B e Phi-3.5-mini.