MoE models

2 items

RESEARCHarXiv CS.CL·vor 5T

Expert-Aware Refusal Steering

Diese Arbeit erweitert die Verweigerungslenkung auf Mixture-of-Experts (MoE) große Sprachmodelle und stellt fest, dass die Lenkleistung durch die MoE-Architektur nicht beeinträchtigt wird. Sie schlägt expertenbewusste Verweigerungslenkungsmethoden vor, die Routing-Muster von Experten nutzen und zeigt, dass das Verweigerungsverhalten effektiv basierend auf der Ausgabe eines einzelnen Experten gesteuert werden kann.

MoE models inference refusal steering AI alignment

RESEARCHarXiv CS.LG·vor 7T

BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE schlägt ein spektralenergiegesteuertes Bit-Allokations-Framework für die Quantisierung von Mixture-of-Experts (MoE) Large Language Models vor. Es zielt darauf ab, den speicherintensiven Einsatz durch die Zerlegung von MoE-Schichten und die Verwendung experten-spezifischer Spektralfaktoren für eine fein abgestufte gemischte Präzisionsquantisierung zu reduzieren.

MoE models deep learning AI optimization quantization