Le contenu examine la recherche de Nous Research sur le pré-entraînement efficace avec superposition de jetons, une technique innovante visant à optimiser les modèles d'IA.
Ce contenu traite de la génération de paires de questions-réponses synthétiques, utilisées pour le pré-entraînement des modèles d'IA, en particulier Nemotron. La technique vise à améliorer les performances des modèles grâce à des données d'entraînement artificielles.
EMO propose une approche de pré-entraînement pour les modèles Mixture of Experts (MoE), visant à atteindre une modularité émergente. Cette méthode se concentre sur le développement de composants spécialisés au sein du modèle pendant la phase de pré-entraînement.
Cet article propose une étude complète sur le mélange de données pour le pré-entraînement des grands modèles linguistiques (LLM), un facteur essentiel pour l'efficacité de l'entraînement et la généralisation en aval. Il formalise l'optimisation du mélange de données comme un problème à deux niveaux et introduit une taxonomie détaillée pour les méthodes existantes.
Unicorn est un nouveau framework pour la prévision évolutive des séries temporelles de haute dimension, comblant le fossé entre les modèles existants en apprenant des motifs d'interaction universels. Il utilise un carnet de codes de prototypes latents, surpassant les architectures de pointe, surtout dans les scénarios de transfert à faible nombre d'exemples.