Evaluating LLMs for Code Generation: Accuracy, Latency, and Failure Modes

Le contenu met en lumière une lacune critique dans les évaluations actuelles de génération de code par les LLM, qui ne parviennent souvent pas à saisir la correction réelle au-delà des succès superficiels. Il critique les benchmarks simplistes basés sur des tests unitaires et propose une approche plus nuancée de `weighted_accuracy` pour révéler les modes de défaillance subtils.