Confidence Calibration

2 items

RESEARCHDEV.to AI·5/10/2026

Distillation that keeps confidence honest

Traditionelle On-Policy-Destillation (OPD) führt dazu, dass kleinere Schülermodelle übermäßiges Vertrauen zeigen, da das größere Lehrermodell Zugang zu privilegiertem Kontext hat. Neue Forschung formalisiert diese Diskrepanz und schlägt CaOPD vor, um diese Gewissheitsillusion ohne Einbußen bei der Genauigkeit zu korrigieren.

Confidence Calibration distillation model training machine learning

RESEARCHarXiv CS.AI·vor 15T

Confidence Calibration in Large Language Models

Diese Studie untersucht die Konfidenzkalibrierung großer Sprachmodelle (LLMs) bei verschiedenen Aufgaben und zeigt, dass aktuelle LLMs bei schwierigen Tests überkonfident und bei einfachen Tests unterkonfident sind. Die Forscher entwickelten LifeEval, einen neuen Test zur Bewertung der Modellkalibrierung über verschiedene Schwierigkeitsgrade hinweg.

Confidence Calibration Overconfidence machine learning large language models