information bottleneck

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

Cet article présente le Stepwise Confidence Attribution (SCA), un cadre pour les LLM en boîte noire qui diagnostique les échecs de raisonnement multi-étapes en attribuant une confiance au niveau de l'étape. Le SCA applique le principe de l'Information Bottleneck, signalant les déviations par rapport aux structures de consensus comme des erreurs potentielles, et propose deux méthodes complémentaires : NIBS et GIBS.