scaling laws

2 items

RESEARCHarXiv CS.AI·il y a 1j

Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Cet article de position plaide pour une compréhension scientifique de l'IA qui se concentre sur l'étude des dynamiques d'entraînement, plutôt que sur la simple analyse des modèles après l'entraînement. Il souligne l'importance de prédire les résultats, d'intervenir en cas de problèmes et de concevoir des procédures d'entraînement pour produire des propriétés souhaitées de manière fiable, en étendant le succès des lois d'échelle au-delà de la perte, aux capacités, aux biais, à la robustesse et à la sécurité.

AI research methodology scaling laws model behavior science of AI

RESEARCHarXiv CS.CL·il y a 21j

The Scaling Laws of Skills in LLM Agent Systems

Cet article de recherche identifie deux lois d'échelle couplées dans les systèmes d'agents LLM : une loi de routage montrant la diminution de la précision avec la taille de la bibliothèque et une loi d'exécution démontrant comment une exécution correcte améliore les décisions en aval. Un paramètre clé, la pente de décroissance logarithmique du routage, lie ces lois, influençant à la fois l'effondrement initial et la récupérabilité ultérieure.

skills scaling laws routing execution