confidence estimation

2 items

RESEARCHarXiv CS.CL·04/05/2026

Confidence Estimation in Automatic Short Answer Grading with LLMs

Este trabalho investiga a estimação de confiança na Classificação Automática de Respostas Curtas (ASAG) com Grandes Modelos de Linguagem (LLMs), essencial para a colaboração humano-IA na educação. Ele compara estratégias de estimação de confiança baseadas em modelos e propõe uma estrutura híbrida para abordar suas limitações.

education LLMs AI grading human-AI interaction

RESEARCHarXiv CS.CL·20d atrás

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

Este artigo apresenta o Stepwise Confidence Attribution (SCA), uma estrutura para LLMs de caixa preta que diagnostica falhas de raciocínio multi-etapa atribuindo confiança a cada passo. O SCA aplica o princípio do Information Bottleneck, identificando desvios de estruturas de consenso como potenciais erros, e propõe os métodos NIBS e GIBS.

LLMs information bottleneck Reasoning confidence estimation