ParoQuant: Pairwise Rotation Quantization for Efficient Reasoning LLM Inference

ParoQuant é uma nova técnica que emprega quantização de rotação pairwise para melhorar significativamente a eficiência da inferência de Grandes Modelos de Linguagem (LLM). Este método visa especificamente LLMs de raciocínio, permitindo uma implantação mais econômica e rápida ao reduzir os requisitos computacionais e de memória.