Cet article raconte l'expérience de l'auteur avec le surapprentissage dans son premier réseau de neurones convolutifs pour la classification d'images, où une grande précision d'entraînement contrastait avec de faibles résultats de validation. Il vise à expliquer comment identifier et résoudre le surapprentissage, offrant des conseils pratiques pour éviter les frustrations courantes.
Cette recherche explore une approche basée sur la confidentialité différentielle pour améliorer la généralisation et prévenir le surapprentissage dans les réseaux neuronaux profonds. Le surapprentissage, où les modèles apprennent le bruit et fonctionnent mal sur des données invisibles, est un défi croissant dans les systèmes d'IA modernes.
Cette recherche examine le phénomène de la "double descente" dans les modèles surparamétrés, ce qui permet une meilleure généralisation malgré les préoccupations classiques de surapprentissage. L'étude explore spécifiquement cet effet dans la régression linéaire avec des données d'entraînement contaminées, constatant qu'une surparamétrisation importante permet la double descente même dans des contextes robustes.