scaling laws

2 items

RESEARCHarXiv CS.AI·vor 2T

Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Dieses Positionspapier plädiert für ein wissenschaftliches Verständnis von KI, das sich auf die Untersuchung der Trainingsdynamik konzentriert, anstatt Modelle nur nach dem Training zu analysieren. Es betont die Vorhersage von Ergebnissen, das Eingreifen bei Problemen und das Design von Trainingsverfahren, um gewünschte Eigenschaften zuverlässig zu erzeugen, und erweitert den Erfolg von Skalierungsgesetzen über den Verlust hinaus auf Fähigkeiten, Verzerrungen, Robustheit und Sicherheitsrelevanz.

AI research methodology scaling laws model behavior science of AI

RESEARCHarXiv CS.CL·vor 22T

The Scaling Laws of Skills in LLM Agent Systems

Diese Forschungsarbeit identifiziert zwei gekoppelte Skalierungsgesetze in LLM-Agentensystemen: ein Routing-Gesetz, das den Genauigkeitsverlust mit der Bibliotheksgröße zeigt, und ein Ausführungsgesetz, das demonstriert, wie die korrekte Ausführung nachfolgende Entscheidungen verbessert. Ein Schlüsselparameter, die logarithmische Zerfallsteigung des Routings, verbindet diese Gesetze und beeinflusst sowohl den anfänglichen Zusammenbruch als auch die spätere Wiederherstellbarkeit.

skills scaling laws routing execution