MP-ISMoE: Mixed-Precision Interactive Side Mixture-of-Experts for Efficient Transfer Learning

Esta pesquisa apresenta o MP-ISMoE, um framework de Mixture-of-Experts Lateral Interativo de Precisão Mista, para aprimorar o aprendizado por transferência eficiente em parâmetros, mitigando o consumo de memória. Ele utiliza um esquema de Quantização Iterativa Perturbada por Ruído Gaussiano (GNP-IQ) para quantização de pesos em bits mais baixos, liberando memória para melhorar a capacidade de aprendizado e o desempenho da rede lateral.