EMO: Pretraining mixture of experts for emergent modularity

EMO propõe uma abordagem de pré-treinamento para modelos Mixture of Experts (MoE), com o objetivo de alcançar modularidade emergente. Este método concentra-se no desenvolvimento de componentes especializados dentro do modelo durante a fase de pré-treinamento.