MoE models

2 items

RESEARCHarXiv CS.CL·il y a 5j

Expert-Aware Refusal Steering

Cet article étend la direction de refus aux grands modèles de langage Mixture-of-Experts (MoE), constatant que la performance de direction n'est pas inhibée par l'architecture MoE. Il propose des méthodes de direction de refus conscientes des experts, montrant que le comportement de refus peut être efficacement dirigé en se basant sur la sortie d'un seul expert.

MoE models inference refusal steering AI alignment

RESEARCHarXiv CS.LG·il y a 7j

BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE propose un cadre d'allocation de bits guidé par l'énergie spectrale pour la quantification des grands modèles de langage Mixture-of-Experts (MoE). Il vise à réduire la consommation de mémoire en décomposant les couches MoE et en utilisant des facteurs spectraux spécifiques aux experts pour une quantification à précision mixte et fine.

MoE models deep learning AI optimization quantization