Confidence Calibration

2 items

RESEARCHDEV.to AI·10/05/2026

Distillation that keeps confidence honest

A destilação on-policy tradicional (OPD) faz com que modelos menores (estudantes) exibam excesso de confiança devido ao acesso do modelo maior (professor) a um contexto privilegiado. Um novo trabalho formaliza este desajuste e propõe o CaOPD para corrigir essa ilusão de certeza sem sacrificar os ganhos de precisão.

Confidence Calibration distillation model training machine learning

RESEARCHarXiv CS.AI·14d atrás

Confidence Calibration in Large Language Models

Este estudo investiga a calibração da confiança em Grandes Modelos de Linguagem (LLMs) em diversas tarefas, revelando que os LLMs atuais exibem superconfiança em testes difíceis e subconfiança em testes fáceis. Os pesquisadores desenvolveram o LifeEval, uma nova ferramenta para avaliar a calibração de modelos em diferentes níveis de dificuldade.

Confidence Calibration Overconfidence machine learning large language models