stochastic-gradient-descent

Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise

Este artículo introduce perturbaciones virtuales predecibles y adaptativas al historial para mejorar los límites de generalización teórico-informacionales para el Descenso de Gradiente Estocástico. Este nuevo enfoque permite que las covarianzas de perturbación dependan dinámicamente del historial pasado del SGD, abordando las limitaciones de los métodos existentes que requieren covarianzas fijas.