Cet article propose un cadre mathématique pour analyser le processus récursif où le texte généré par l'IA remodèle le registre public à partir duquel les LLM apprennent. Il distingue la "dérive", qui élimine les formes rares, et la "sélection", qui filtre le contenu, montrant que la sélection normative préserve des structures linguistiques plus profondes.
L'article propose un cadre SIR/SIRS bicouche pour modéliser la contamination des données synthétiques et l'effondrement des modèles dans l'écosystème de l'IA. Ce modèle phénoménologique de champ moyen traite les corpus de données et les modèles d'IA comme des populations interagissantes, dérivant un nombre de reproduction de base pour analyser la contamination croisée.
Cette étude explore l'existence de neurones spécifiques à des tâches dans les grands modèles de langage, notamment pour le raisonnement mathématique et la génération de code. Elle propose une métrique de sélectivité basée sur l'activation pour l'élagage des neurones, surpassant l'élagage aléatoire pour réduire les coûts de calcul et maintenir la précision, tout en prévenant l'effondrement des performances.
O Reinforcement Learning é crucial para escalar modelos de linguagem, mas algoritmos existentes sofrem de instabilidade e colapso do modelo. Para resolver isso e permitir o escalonamento bem-sucedido, propõe-se o algoritmo Group Sequence Policy Optimization (GSPO).