Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise

Dieser Artikel führt vorhersehbare, geschichtsadaptive virtuelle Störungen ein, um informations-theoretische Generalisierungsgrenzen für den Stochastischen Gradientenabstieg zu verbessern. Dieser neue Ansatz ermöglicht es den Störungkovarianzen, dynamisch von der früheren SGD-Historie abzuhängen, wodurch Einschränkungen bestehender Methoden, die feste Kovarianzen erfordern, behoben werden.