model calibration

Reading Calibrated Uncertainty from Language Model Trajectories

Cet article de recherche propose une nouvelle méthode pour quantifier l'incertitude dans les modèles de langage en traçant le chemin cumulatif des mises à jour MLP par couche. En extrayant onze caractéristiques géométriques invariantes à l'échelle, une sonde linéaire clairsemée surpasse la probabilité maximale de softmax dans l'évaluation de l'incertitude.