Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Cet article de position plaide pour une compréhension scientifique de l'IA qui se concentre sur l'étude des dynamiques d'entraînement, plutôt que sur la simple analyse des modèles après l'entraînement. Il souligne l'importance de prédire les résultats, d'intervenir en cas de problèmes et de concevoir des procédures d'entraînement pour produire des propriétés souhaitées de manière fiable, en étendant le succès des lois d'échelle au-delà de la perte, aux capacités, aux biais, à la robustesse et à la sécurité.