I Ran 163 Benchmarks Across 10 LLMs So You Don't Have To. Here's What I Found

Dieser Artikel beleuchtet die gängige Praxis, dass Teams aufgrund mangelhafter Benchmarking-Verfahren zu viel für LLM-Inferenz bezahlen, oft indem sie Modelle nach Beliebtheit statt Kosteneffizienz auswählen. Der Autor führte mithilfe eines Tools namens CostGuard 163 Benchmarks über 15 Modelle durch und entdeckte dabei überraschende Preisunterschiede von bis zu 200x zwischen Modellen wie Gemini 2.5 Flash und GPT-5.