Evaluating LLMs for Code Generation: Accuracy, Latency, and Failure Modes

El contenido destaca una falla crítica en las evaluaciones actuales de generación de código por LLMs, que a menudo no logran capturar la corrección en el mundo real más allá de aprobaciones superficiales. Argumenta en contra de los benchmarks simplistas basados en pruebas unitarias y propone un enfoque más matizado de `weighted_accuracy` para descubrir modos de fallo sutiles.