rationalization

Faithful or Fabricated? A Causal Framework for Rationalization Bias in LLM Judges

Cet article introduit un cadre causal pour étudier le biais de rationalisation chez les LLM utilisés comme juges automatiques pour l'évaluation de résumés et de dialogues. Il examine si les classements et les explications des LLM restent stables lorsque des indices non probants sont perturbés, en proposant des interventions d'indices et des métriques d'ancrage.