I Built a Benchmark for the Failures Generic LLM Evaluations Miss

L'auteur souligne que les benchmarks génériques des LLM ne parviennent pas à détecter les « échecs de jugement » cruciaux dans les flux de travail réels, tels que la surestimation ou la mauvaise gestion des prix. Il a conçu un nouveau benchmark pour mesurer spécifiquement ces erreurs comportementales complexes que les évaluations typiques manquent.