I Built a Benchmark for the Failures Generic LLM Evaluations Miss

Der Autor betont, dass generische LLM-Benchmarks kritische „Urteilsfehler“ in realen Arbeitsabläufen, wie Überanspruchnahme oder fehlerhafte Preisübergaben, übersehen. Er entwickelte einen neuen Benchmark, um diese komplexen Verhaltensfehler, die typische Bewertungen nicht erfassen, gezielt zu messen.