predictive models

2 items

RESEARCHarXiv CS.CL·hace 19d

Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum

Esta investigación explora si las leyes de escalamiento de datos reales están gobernadas por una cobertura progresiva de un espectro latente de contribución predictiva, en lugar de solo por la frecuencia de tokens. Utilizando un autómata de sufijos y un espectro de contribución predictiva global-KL, el estudio encuentra una fuerte correlación entre la pendiente de la cola del espectro y el exponente de escalamiento de datos de los aprendices GPT, demostrando que el rango de truncamiento efectivo escala logarítmicamente.

language models data scaling machine learning predictive models

RESEARCHarXiv CS.LG·hace 14d

Algometrics: Forecasting Under Algorithmic Feedback

Este artículo introduce la algometría, un marco para series temporales cuya evolución depende de los algoritmos predictivos que las pronostican. Distingue el riesgo histórico del riesgo de despliegue, demostrando que el riesgo de despliegue no es identificable solo a partir de datos históricos pasivos y que las clasificaciones de modelos históricos pueden invertirse bajo la aglomeración.

forecasting feedback loops algorithmic markets predictive models