Este artículo introduce el algoritmo Langevin Gradient Descent (LGD) para problemas de regresión convexa, demostrando que las configuraciones óptimas de hiperparámetros alcanzan la solución óptima de Bayes. El trabajo también ofrece garantías de generalización para el meta-aprendizaje de hiperparámetros óptimos de LGD, con un límite de pseudo-dimensión de O(dh).
Este artículo propone -DPO, una optimización de preferencia directa a través del margen de recompensa de razón, para abordar el desafío del ajuste de hiperparámetros en SimPO. La investigación analiza SimPO y reformula el objetivo de preferencia para mejorar la interpretabilidad en conjuntos de datos con diferentes estructuras de brecha de recompensa.
Este artículo deriva reglas de escalado para Redes Delta Gated para optimizar el entrenamiento de Large Language Models. Los experimentos confirman que las configuraciones propuestas permiten una transferencia estable de la tasa de aprendizaje en diferentes anchos de modelo.