Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Cette étude empirique examine le théorème de répulsion des caractéristiques dans le grokking de réseaux à deux couches, tel que prouvé par Tian (2025). Elle révèle une dissociation claire entre structure et mécanisme, avec la règle de signe prévue tenant robustement pour les paires de caractéristiques les plus similaires.