Escaping the Agreement Trap: Defensibility Signals for Evaluating Rule-Governed AI

Cet article propose un nouveau cadre pour évaluer l'IA régie par des règles, notamment dans la modération de contenu, en allant au-delà des mesures d'accord simples. Il introduit le Defensibility Index (DI), l'Ambiguity Index (AI) et le Probabilistic Defensibility Signal (PDS) pour évaluer la justesse basée sur la politique et la stabilité du raisonnement, en utilisant les traces de raisonnement des LLM pour vérifier la dérivabilité logique des règles.