predictive models

2 items

RESEARCHarXiv CS.CL·19d atrás

Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Esta pesquisa investiga se as leis de escala de dados reais são governadas por uma cobertura progressiva de um espectro de contribuição preditiva latente, em vez de apenas pela frequência de tokens. Utilizando um autômato de sufixos e um espectro de contribuição preditiva global-KL, o estudo encontra uma forte correlação entre a inclinação da cauda do espectro e o expoente de escala de dados de aprendizes GPT, mostrando que a classificação de truncamento eficaz escala logaritmicamente.

language models data scaling machine learning predictive models

RESEARCHarXiv CS.LG·14d atrás

Algometrics: Forecasting Under Algorithmic Feedback

Este artigo introduz a algometria, uma estrutura para séries temporais cuja evolução depende de algoritmos preditivos. Ele distingue o risco histórico do risco de implantação, provando que o risco de implantação não é identificável apenas a partir de dados históricos passivos e que as classificações de modelos históricos podem se inverter sob o congestionamento.

forecasting feedback loops algorithmic markets predictive models