predictive models

2 items

RESEARCHarXiv CS.CL·il y a 19j

Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Cette recherche examine si les lois d'échelle des données réelles sont régies par une couverture progressive d'un spectre latent de contribution prédictive, plutôt que par la seule fréquence des jetons. En utilisant un automate de suffixes et un spectre de contribution prédictive global-KL, l'étude révèle une forte corrélation entre la pente de la queue du spectre et l'exposant d'échelle des données des apprenants GPT, montrant que le rang de troncature effectif s'échelonne logarithmiquement.

language models data scaling machine learning predictive models

RESEARCHarXiv CS.LG·il y a 14j

Algometrics: Forecasting Under Algorithmic Feedback

Cet article introduit l'algométrie, un cadre pour les séries temporelles dont l'évolution dépend des algorithmes prédictifs qui les prévoient. Il distingue le risque historique du risque de déploiement, prouvant que le risque de déploiement n'est pas identifiable uniquement à partir de données historiques passives et que les classements de modèles historiques peuvent s'inverser en cas de surcharge.

forecasting feedback loops algorithmic markets predictive models