A Semantic-Sampling Framework for Evaluating Calibration in Open-Ended Question Answering

Cette recherche introduit Sem-ECE, un nouveau cadre d'échantillonnage sémantique pour évaluer la calibration dans la réponse aux questions ouvertes des grands modèles de langage. Il aborde les limites des méthodes d'évaluation existantes en regroupant les réponses échantillonnées en classes sémantiques, essentiel pour le déploiement fiable des LLMs.