Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Cette recherche examine si les lois d'échelle des données réelles sont régies par une couverture progressive d'un spectre latent de contribution prédictive, plutôt que par la seule fréquence des jetons. En utilisant un automate de suffixes et un spectre de contribution prédictive global-KL, l'étude révèle une forte corrélation entre la pente de la queue du spectre et l'exposant d'échelle des données des apprenants GPT, montrant que le rang de troncature effectif s'échelonne logarithmiquement.