EMO: Pretraining mixture of experts for emergent modularity

EMO schlägt einen Vortrainingsansatz für Mixture of Experts (MoE)-Modelle vor, der darauf abzielt, emergente Modularität zu erreichen. Diese Methode konzentriert sich auf die Entwicklung spezialisierter Komponenten innerhalb des Modells während der Vortrainingsphase.