Self-Calibrating Language Models via Test-Time Discriminative Distillation

Les grands modèles de langage sont souvent trop confiants, exprimant une grande certitude même lorsqu'ils sont incorrects. Cet article présente SECL, un pipeline d'entraînement en temps de test qui exploite un signal auto-supervisé pour améliorer la calibration sans nécessiter de données étiquetées.