feature learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Este estudo empírico investiga o teorema da repulsão de características em redes de duas camadas durante o grokking, conforme proposto por Tian (2025). Observa-se uma clara dissociação entre a estrutura e o mecanismo, com a regra de sinal prevista se mantendo robusta em pares de características semelhantes.