stochastic-gradient-descent

Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise

Este artigo introduz perturbações virtuais adaptativas ao histórico previsíveis para aprimorar os limites de generalização teórico-informacionais para o Gradiente Descendente Estocástico. Essa nova abordagem permite que as covariâncias de perturbação dependam dinamicamente do histórico passado do SGD, abordando as limitações dos métodos existentes que exigem covariâncias fixas.