Selective Prediction

When Should a Language Model Trust Itself? Same-Model Self-Verification as a Conditional Confidence Signal

Esta investigación evalúa la auto-verificación del mismo modelo como una señal de confianza para la predicción selectiva, comparándola con líneas de base basadas en probabilidad. El estudio revela resultados dependientes de la tarea y del modelo, mostrando mejoras significativas para algunos modelos en ARC-Challenge, pero menor fiabilidad y degradación ocasional en TruthfulQA-MC.