I Ran 163 Benchmarks Across 10 LLMs So You Don't Have To. Here's What I Found

Este artigo destaca a prática comum de equipes superestimarem o custo de inferência de LLMs por não realizarem benchmarking adequado, optando por modelos populares sem considerar alternativas mais econômicas. O autor, através da ferramenta CostGuard, realizou 163 benchmarks em 15 modelos, revelando diferenças de preço surpreendentes de até 200x entre modelos como Gemini 2.5 Flash e GPT-5.