HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

HELLoRA propõe um novo método para o ajuste fino de modelos Mixture-of-Experts (MoE), aplicando módulos Low-Rank Adaptation (LoRA) apenas aos especialistas mais frequentemente ativados em cada camada. Esta técnica reduz significativamente os parâmetros treináveis e melhora o desempenho, atribuindo o sucesso à preservação da especialização pré-treinada dos especialistas.