feature learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Diese empirische Studie untersucht Tian's (2025) Repulsions-Theorem für Merkmale im Grokking von zweischichtigen Netzwerken. Sie beobachtet eine klare Struktur-Mechanismus-Dissoziation, wobei die vorhergesagte Zeichenregel bei ähnlichen Merkmals-Paaren robust gültig ist.