RESEARCHHugging Face Blog·08/05/2026
EMO: Pretraining mixture of experts for emergent modularity
EMO propõe uma abordagem de pré-treinamento para modelos Mixture of Experts (MoE), com o objetivo de alcançar modularidade emergente. Este método concentra-se no desenvolvimento de componentes especializados dentro do modelo durante a fase de pré-treinamento.
27