Theory-optimal Quantization Based on Flatness

Esta pesquisa modela a relação entre erro de quantização e outliers em Large Language Models (LLMs) e introduz uma nova métrica, Flatness, para quantificar a distribuição de outliers. Com base nisso, deriva uma solução teórica ótima e propõe a Quantização Diagonal Bidirecional (BDQ) para quantização pós-treinamento.