EMO: Pretraining mixture of experts for emergent modularity

EMO propose une approche de pré-entraînement pour les modèles Mixture of Experts (MoE), visant à atteindre une modularité émergente. Cette méthode se concentre sur le développement de composants spécialisés au sein du modèle pendant la phase de pré-entraînement.