Reading Calibrated Uncertainty from Language Model Trajectories

Cet article de recherche propose une nouvelle méthode pour quantifier l'incertitude dans les modèles de langage en traçant le chemin cumulatif des mises à jour MLP par couche. En extrayant onze caractéristiques géométriques invariantes à l'échelle, une sonde linéaire clairsemée surpasse la probabilité maximale de softmax dans l'évaluation de l'incertitude.