EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

Esta pesquisa apresenta EdgeRazor, uma estrutura leve para implantar Grandes Modelos de Linguagem em dispositivos com recursos limitados. Ele utiliza destilação com quantização consciente de precisão mista para converter modelos de precisão total em formatos de menor bit, superando as limitações dos métodos de quantização anteriores.