L'article développe une théorie pseudospectrale précise pour les systèmes de descente de gradient couplés avec des jacobiens triangulaires par blocs, pertinents pour l'optimisation bilivellulaire et l'entraînement contradictoire. Il établit des bornes pour l'amplification transitoire et caractérise les seuils de couplage critiques pour l'instabilité spectrale.
Cet article remet en question l'idée selon laquelle les minima plats conduisent intrinsèquement à une meilleure généralisation, montrant qu'une reparamétrisation préservant la fonction peut modifier drastiquement la netteté perçue d'un minimum. Il introduit la « faiblesse » — une mesure invariante à la reparamétrisation basée sur ce que fait le réseau — comme le véritable moteur de la généralisation, prouvant son optimalité minimax et sa corrélation avec les bornes PAC-Bayes.
Cette recherche propose de distinguer l'élicitation de capacités de la création de capacités dans le post-entraînement des grands modèles linguistiques. Elle soutient que l'élicitation repondère les comportements existants au sein du support accessible d'un modèle, tandis que la création modifie ce support, développant cette idée à travers une perspective d'énergie libre.
Ce contenu explore des notes sur la divergence de Kullback-Leibler et sa relation avec le concept de vraisemblance. Il aborde les principes fondamentaux de la théorie de l'information et de l'inférence statistique pertinents pour l'IA.