Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time

Cette recherche présente OP-Mix, un nouvel algorithme pour le mélange efficace de données tout au long du cycle de vie de l'entraînement des modèles de langage. Il aborde le défi de combiner diverses sources de données pour le pré-entraînement, l'apprentissage continu et l'adaptation, proposant une solution unifiée de prise de décision en ligne.