Este contenido explora tres métodos post-hoc, como Platt Scaling, Isotonic Regression y Temperature Scaling, diseñados para mejorar la calibración de los modelos de lenguaje. Estas técnicas buscan reducir la disparidad entre la confianza predicha por un modelo y su precisión real.
El tamaño del conjunto de calibración etiquetado por humanos para validar un LLM-as-judge depende del equilibrio de las etiquetas. Cincuenta rastros son suficientes para criterios binarios equilibrados, pero se requieren 200 o más para categorías raras pero costosas, como las violaciones de seguridad, ya que la varianza de kappa está dominada por los ejemplos de la clase minoritaria.
Esta guía trata los modelos de IA cuántica Ising de código abierto de Nvidia como servicios de producción, centrándose en su implementación, orquestación, salvaguardias y gobernanza dentro de los marcos de seguridad de IA existentes. Destaca la importancia crítica de la calibración para el rendimiento real de los solucionadores Ising inspirados en la cuántica, ya que los sistemas mal ajustados pueden provocar fallos de producción significativos.
Los grandes modelos de lenguaje suelen ser demasiado confiados, expresando alta certeza incluso cuando responden incorrectamente. Este trabajo presenta SECL, un método de entrenamiento en tiempo de prueba que aprovecha una señal de auto-supervisión para mejorar la calibración sin datos etiquetados.
Este estudio aborda la falta de diversidad en las salidas de los LLM, atribuyéndola a cómo los modelos asignan la masa de probabilidad entre continuaciones válidas e inválidas durante la decodificación. Introduce un marco de validez-diversidad que descompone el problema en dos formas complementarias de descalibración: calibración de orden y calibración de forma.
Este documento formaliza la calibración para la clasificación probabilística de etiquetas, introduciendo una jerarquía de nociones para clasificaciones completas, subclasificaciones y top-k. Empíricamente, los modelos populares de clasificación de etiquetas suelen estar mal calibrados, con implicaciones para los modelos de recompensa RLHF.