BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE schlägt ein spektralenergiegesteuertes Bit-Allokations-Framework für die Quantisierung von Mixture-of-Experts (MoE) Large Language Models vor. Es zielt darauf ab, den speicherintensiven Einsatz durch die Zerlegung von MoE-Schichten und die Verwendung experten-spezifischer Spektralfaktoren für eine fein abgestufte gemischte Präzisionsquantisierung zu reduzieren.