A Deep Dive into Calibration of Language Models: Platt Scaling, Isotonic Regression, Temperature Scaling

Dieser Inhalt untersucht drei Post-hoc-Methoden – Platt Scaling, Isotonic Regression und Temperature Scaling –, die darauf abzielen, die Kalibrierung von Sprachmodellen zu verbessern. Diese Techniken sollen die Diskrepanz zwischen der vorhergesagten Konfidenz eines Modells und seiner tatsächlichen Genauigkeit verringern.