I Built a Benchmark for the Failures Generic LLM Evaluations Miss

El autor señala que los benchmarks genéricos de LLMs no logran capturar fallas críticas de 'juicio' en flujos de trabajo reales, como la sobrestimación o el mal manejo de precios. Desarrolló un nuevo benchmark para medir específicamente estos errores de comportamiento complejos que las evaluaciones típicas pasan por alto.