early-detection

ILDR: Geometric Early Detection of Grokking

Dieses Papier schlägt das Inter/Intra-class Distance Ratio (ILDR) als neues geometrisches Signal zur Frühdetektion von „Grokking“ in neuronalen Netzen vor. ILDR, berechnet aus den Repräsentationen der vorletzten Schicht, zeigt eine geometrische Reorganisation im Repräsentationsraum an, bevor sich die Validierungsgenauigkeit verbessert, und übertrifft damit bestehende Detektionsmethoden.