Theory-optimal Quantization Based on Flatness

Esta investigación modela la relación entre el error de cuantificación y los valores atípicos en los Grandes Modelos de Lenguaje (LLM) e introduce una nueva métrica, Flatness, para cuantificar la distribución de valores atípicos. Con base en esto, deriva una solución teóricamente óptima y propone la Cuantificación Diagonal Bidireccional (BDQ) para la cuantificación post-entrenamiento.