Selective Prediction

When Should a Language Model Trust Itself? Same-Model Self-Verification as a Conditional Confidence Signal

Esta pesquisa avalia a auto-verificação do mesmo modelo como um sinal de confiança para a previsão seletiva, comparando-a com baselines baseadas em probabilidade. O estudo revela resultados dependentes da tarefa e do modelo, mostrando melhorias significativas para alguns modelos no ARC-Challenge, mas menor confiabilidade e degradação ocasional no TruthfulQA-MC.