rationalization

Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges

Este artigo introduz uma estrutura causal para estudar o viés de racionalização em LLMs usados como juízes automáticos para avaliação de resumos e diálogos. Ele investiga se as classificações e explicações dos LLMs permanecem estáveis quando pistas não-evidenciais são perturbadas, propondo intervenções de pistas e métricas de ancoragem.