Evaluating LLMs for Code Generation: Accuracy, Latency, and Failure Modes

O conteúdo destaca uma falha crítica nas avaliações atuais de geração de código por LLMs, que muitas vezes não conseguem capturar a correção real além de passes superficiais. Ele argumenta contra benchmarks simplistas baseados em testes unitários e propõe uma abordagem mais matizada de `weighted_accuracy` para revelar modos de falha sutis.