model calibration

Reading Calibrated Uncertainty from Language Model Trajectories

Diese Forschungsarbeit schlägt eine neue Methode zur Quantifizierung der Unsicherheit in Sprachmodellen vor, indem sie den kumulativen Pfad von MLP-Updates pro Schicht verfolgt. Durch die Extraktion von elf skaleninvarianten geometrischen Merkmalen übertrifft eine dünne lineare Sonde die maximale Softmax-Wahrscheinlichkeit bei der Bewertung der Unsicherheit.