early-detection

ILDR: Geometric Early Detection of Grokking

Cet article propose le Ratio de Distance Inter/Intra-classe (ILDR) comme un nouveau signal géométrique pour la détection précoce du « grokking » dans les réseaux neuronaux. L'ILDR, calculé à partir des représentations de l'avant-dernière couche, indique une réorganisation géométrique dans l'espace de représentation avant que la précision de validation ne s'améliore, surpassant les méthodes de détection existantes.