Evaluating LLMs for Code Generation: Accuracy, Latency, and Failure Modes

Der Inhalt hebt eine kritische Schwachstelle in aktuellen Bewertungen der LLM-Code-Generierung hervor: Sie erfassen oft nicht die reale Korrektheit jenseits oberflächlicher Erfolge. Es argumentiert gegen vereinfachte Unit-Test-Benchmarks und schlägt einen nuancierteren `weighted_accuracy`-Ansatz vor, um subtile Fehlermodi aufzudecken.