MoE models

2 items

RESEARCHarXiv CS.CL·hace 5d

Expert-Aware Refusal Steering

Este artículo extiende la dirección de rechazo a los Modelos de Lenguaje Grandes de Mezcla de Expertos (LLMs MoE), descubriendo que el rendimiento de la dirección no se ve inhibido por la arquitectura MoE. Propone métodos de dirección de rechazo conscientes de los expertos, mostrando que el comportamiento de rechazo puede ser dirigido eficazmente basándose en la salida de un solo experto.

MoE models inference refusal steering AI alignment

RESEARCHarXiv CS.LG·hace 7d

BitsMoE: Efficient Spectral Energy-Guided Bit Allocation for MoE LLM Quantization

BitsMoE propone un marco de asignación de bits guiado por energía espectral para la cuantificación de modelos de lenguaje grandes de Mixture-of-Experts (MoE). Aborda el despliegue intensivo en memoria descomponiendo las capas MoE y utilizando factores espectrales específicos del experto para una cuantificación de precisión mixta y detallada.

MoE models deep learning AI optimization quantization