Este artículo introduce un marco matemático para analizar el proceso recursivo donde el texto generado por IA remodela el registro público del cual aprenden los LLM. Distingue entre la "deriva", que elimina formas raras, y la "selección", que filtra el contenido, mostrando que la selección normativa preserva estructuras lingüísticas más profundas.
El artículo propone un marco SIR/SIRS bicapa para modelar la contaminación de datos sintéticos y el colapso de modelos en el ecosistema de IA. Este modelo fenomenológico de campo medio trata los corpus de datos y los modelos de IA como poblaciones interactuantes, derivando un número de reproducción básico para analizar la contaminación cruzada.
Este estudio explora la existencia de neuronas específicas para tareas en grandes modelos de lenguaje, centrándose en el razonamiento matemático y la generación de código. Introduce una métrica de selectividad basada en activación para la poda de neuronas, que supera consistentemente la poda aleatoria en la reducción del costo computacional y el mantenimiento de la precisión de la tarea, previniendo el colapso del rendimiento.
O Reinforcement Learning é crucial para escalar modelos de linguagem, mas algoritmos existentes sofrem de instabilidade e colapso do modelo. Para resolver isso e permitir o escalonamento bem-sucedido, propõe-se o algoritmo Group Sequence Policy Optimization (GSPO).