Always Learning, Always Mixing: Efficient and Simple Data Mixing All The Time

Esta investigación presenta OP-Mix, un nuevo algoritmo para la mezcla eficiente de datos a lo largo de todo el ciclo de vida del entrenamiento de modelos de lenguaje. Aborda el desafío de combinar diversas fuentes de datos para el preentrenamiento, el aprendizaje continuo y la adaptación, proponiendo una solución unificada de toma de decisiones en línea.