EMO: Pretraining mixture of experts for emergent modularity

EMO propone un enfoque de preentrenamiento para modelos Mixture of Experts (MoE), con el objetivo de lograr modularidad emergente. Este método se centra en el desarrollo de componentes especializados dentro del modelo durante la fase de preentrenamiento.