scaling laws

2 items

RESEARCHarXiv CS.AI·hace 1d

Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Este artículo de posición aboga por una comprensión científica de la IA que se centre en el estudio de las dinámicas de entrenamiento, en lugar de solo analizar los modelos post-entrenamiento. Enfatiza la predicción de resultados, la intervención cuando surgen problemas y el diseño de procedimientos de entrenamiento para producir propiedades deseadas de manera confiable, extendiendo el éxito de las leyes de escalamiento más allá de la pérdida, a las capacidades, sesgos, robustez y seguridad.

AI research methodology scaling laws model behavior science of AI

RESEARCHarXiv CS.CL·hace 21d

The Scaling Laws of Skills in LLM Agent Systems

Este artículo de investigación identifica dos leyes de escala acopladas en sistemas de agentes LLM: una ley de enrutamiento que muestra la disminución de la precisión con el tamaño de la biblioteca y una ley de ejecución que demuestra cómo la ejecución correcta mejora las decisiones posteriores. Un parámetro clave, la pendiente de decaimiento logarítmico del enrutamiento, vincula estas leyes, influyendo tanto en el colapso inicial como en la recuperabilidad posterior.

skills scaling laws routing execution