BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE propone un marco de asignación de bits guiado por energía espectral para la cuantificación de modelos de lenguaje grandes de Mixture-of-Experts (MoE). Aborda el despliegue intensivo en memoria descomponiendo las capas MoE y utilizando factores espectrales específicos del experto para una cuantificación de precisión mixta y detallada.