BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE propose un cadre d'allocation de bits guidé par l'énergie spectrale pour la quantification des grands modèles de langage Mixture-of-Experts (MoE). Il vise à réduire la consommation de mémoire en décomposant les couches MoE et en utilisant des facteurs spectraux spécifiques aux experts pour une quantification à précision mixte et fine.