Dieses Papier stellt den Langevin Gradient Descent (LGD) Algorithmus für konvexe Regressionsprobleme vor und beweist, dass optimale Hyperparameterkonfigurationen die Bayes-optimale Lösung erreichen. Die Arbeit liefert auch Generalisierungsgarantien für das Meta-Lernen der optimalen LGD-Hyperparameter mit einer Pseudodimensionsgrenze von O(dh).
Dieses Papier stellt -DPO vor, eine direkte Präferenzoptimierung mittels Verhältnis-Belohnungsmarge, um die Herausforderung der Hyperparameter-Abstimmung in SimPO anzugehen. Die Forschung analysiert SimPO und reformuliert das Präferenzziel, um die Interpretierbarkeit über Datensätze mit unterschiedlichen Belohnungslückenstrukturen zu verbessern.
Dieses Papier leitet Skalierungsregeln für Gated Delta Networks ab, um das Training und die Skalierung von Large Language Models zu optimieren. Experimente bestätigen, dass die vorgeschlagenen Konfigurationen einen stabilen Lerntransfer über verschiedene Modellbreiten hinweg ermöglichen.