model calibration

Reading Calibrated Uncertainty from Language Model Trajectories

Este artigo de pesquisa propõe um novo método para quantificar a incerteza em modelos de linguagem, traçando o caminho cumulativo das atualizações MLP por camada. Ao extrair onze características geométricas invariantes em escala, uma sonda linear esparsa supera a probabilidade máxima de softmax na avaliação da incerteza.