I Built a Benchmark for the Failures Generic LLM Evaluations Miss

O autor destaca que os benchmarks genéricos de LLMs falham em capturar falhas críticas de 'julgamento' em fluxos de trabalho reais, como superestimação ou má gestão de preços. Ele desenvolveu um novo benchmark para medir especificamente esses erros comportamentais complexos que as avaliações típicas perdem.