Die Arbeit entwickelt eine scharfe pseudospektrale Theorie für gekoppelte Gradientenabstiegs-Systeme mit block-dreieckigen Jacobi-Matrizen, die für Bilevel-Optimierung und adversarielles Training relevant sind. Sie liefert Schranken für transiente Verstärkung und charakterisiert kritische Kopplungsschwellen für spektrale Instabilität.
Dieser Artikel stellt die konventionelle Ansicht in Frage, dass flache Minima inhärent zu besserer Generalisierung führen, indem er zeigt, dass funktionserhaltende Reparameterisierung die wahrgenommene Schärfe eines Minimums drastisch verändern kann. Er führt „Schwäche“ ein – ein reparameterisierungsinvariantes Maß, das auf dem basiert, was das Netzwerk tut – als den eigentlichen Treiber der Generalisierung und beweist dessen Minimax-Optimalität und Korrelation mit PAC-Bayes-Grenzen.
Diese Forschung schlägt vor, zwischen der Evozierung von Fähigkeiten und der Schaffung von Fähigkeiten im Post-Training großer Sprachmodelle zu unterscheiden. Sie argumentiert, dass die Evozierung bestehende Verhaltensweisen innerhalb der zugänglichen Unterstützung eines Modells neu gewichtet, während die Schaffung diese Unterstützung selbst verändert, und entwickelt dies durch eine Freie-Energie-Perspektive.
Dieser Inhalt untersucht die Kullback-Leibler-Divergenz und ihre Beziehung zum Likelihood-Konzept. Es behandelt grundlegende Prinzipien der Informationstheorie und statistischen Inferenz, die für KI relevant sind.