Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Dieses Positionspapier plädiert für ein wissenschaftliches Verständnis von KI, das sich auf die Untersuchung der Trainingsdynamik konzentriert, anstatt Modelle nur nach dem Training zu analysieren. Es betont die Vorhersage von Ergebnissen, das Eingreifen bei Problemen und das Design von Trainingsverfahren, um gewünschte Eigenschaften zuverlässig zu erzeugen, und erweitert den Erfolg von Skalierungsgesetzen über den Verlust hinaus auf Fähigkeiten, Verzerrungen, Robustheit und Sicherheitsrelevanz.