Your AI Agent Evaluation Is Lying to You: Why 10 Test Runs Prove Nothing

Le contenu soutient que 10 tests entre agents d'IA sont insuffisants pour tirer des conclusions valables sur la performance, même avec un match nul de 5-5. Il explique que le taux de victoire a des intervalles de confiance énormes avec de petites tailles d'échantillon, introduisant l'intervalle de score de Wilson comme une limite raisonnable pour les résultats binaires.