I Ran 163 Benchmarks Across 10 LLMs So You Don't Have To. Here's What I Found

Cet article met en lumière la pratique courante des équipes de surpayer l'inférence des LLM faute de benchmarking adéquat, choisissant souvent des modèles basés sur la popularité plutôt que sur la rentabilité. L'auteur, à l'aide de l'outil CostGuard, a effectué 163 benchmarks sur 15 modèles, révélant des différences de prix surprenantes allant jusqu'à 200x entre des modèles comme Gemini 2.5 Flash et GPT-5.