Spectral Entropy Collapse as an Empirical Signature of Delayed Generalisation in Grokking

Cet article identifie l'entropie spectrale normalisée comme un paramètre d'ordre scalaire pour la transition de grokking, où les modèles généralisent longtemps après la mémorisation. La recherche montre que l'effondrement de l'entropie précède la généralisation, et des interventions causales confirment son rôle critique, offrant un modèle prédictif pour le début du grokking.