early-detection

ILDR: Geometric Early Detection of Grokking

Este artigo propõe o ILDR (Inter/Intra-class Distance Ratio) como um novo sinal geométrico para a detecção precoce de 'grokking' em redes neurais. O ILDR, calculado a partir de representações da penúltima camada, indica uma reorganização geométrica no espaço de representação antes que a precisão de validação melhore, superando os métodos de detecção existentes.