Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates

Dieses Papier stellt den Langevin Gradient Descent (LGD) Algorithmus für konvexe Regressionsprobleme vor und beweist, dass optimale Hyperparameterkonfigurationen die Bayes-optimale Lösung erreichen. Die Arbeit liefert auch Generalisierungsgarantien für das Meta-Lernen der optimalen LGD-Hyperparameter mit einer Pseudodimensionsgrenze von O(dh).