predictive models

2 items

RESEARCHarXiv CS.CL·vor 19T

Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Diese Forschung untersucht, ob reale Datenskalierungsgesetze durch eine progressive Abdeckung eines latenten prädiktiven Beitragsspektrums und nicht nur durch die Token-Frequenz bestimmt werden. Mithilfe eines Suffix-Automaten und eines globalen KL-Prädiktionsbeitragsspektrums findet die Studie eine starke Korrelation zwischen der Steigung des Spektrumsendes und dem Daten-Skalierungsexponenten von GPT-Lernenden, was zeigt, dass der effektive Trunkierungsrang logarithmisch skaliert.

language models data scaling machine learning predictive models

RESEARCHarXiv CS.LG·vor 14T

Algometrics: Forecasting Under Algorithmic Feedback

Dieser Artikel führt Algometrics ein, ein Framework für Zeitreihen, deren Entwicklung von den sie vorhersagenden prädiktiven Algorithmen abhängt. Es unterscheidet historisches Risiko von Einsatzrisiko, wobei bewiesen wird, dass das Einsatzrisiko nicht allein aus passiven historischen Daten identifizierbar ist und dass historische Modellrankings unter Überlastung invertieren können.

forecasting feedback loops algorithmic markets predictive models