Este artigo analisa por que os assistentes de codificação resultam em custos exorbitantes de API LLM devido a solicitações frequentes e à necessidade de tempos de resposta ultrarrápidos. Ele explora o dilema entre usar modelos de ponta caros ou modelos econômicos mais baratos, indicando a necessidade de uma estratégia híbrida.
Um teste com 30 APIs de LLMs revelou uma taxa de falha de 42,7% em 150 chamadas, mas as falhas reais de infraestrutura (limite de taxa) foram de apenas 4%. Essa baixa taxa de falha na infraestrutura se alinha com relatórios do setor, validando os esforços atuais de engenharia de IA.
O conteúdo detalha como os chatbots esgotam os orçamentos de IA devido ao consumo elevado de tokens, especialmente os tokens de saída que custam 3-5 vezes mais. Ele quantifica os custos por conversa e o impacto financeiro em escala, ressaltando a necessidade de otimização inteligente para reduzir despesas.