TUR-DPO: Topology- and Uncertainty-Aware Direct Preference Optimization

TUR-DPO es una nueva variante de Optimización de Preferencia Directa (DPO) sensible a la topología y la incertidumbre, que mejora la alineación de grandes modelos de lenguaje (LLMs) con las preferencias humanas. Recompensa cómo se derivan las respuestas, no solo lo que dicen, incorporando topologías de razonamiento y señales de incerteza.