Custos crescentes de inferência de modelos de IA de ponta estão impactando orçamentos empresariais, com empresas como Uber e Microsoft enfrentando despesas significativas. O modelo de assinatura padrão está se mostrando inadequado para refletir o consumo real, elevando os custos de engenharia mais rapidamente do que os salários.
Esta pesquisa apresenta as Políticas Guia-Núcleo (GCoP), uma estrutura para direcionar LLMs de caixa-preta onde um modelo guia gera estratégias para um modelo central. O artigo formaliza GCoP sob um objetivo de utilidade sensível ao custo, mostrando que o desempenho é governado pela executabilidade média do guia, que os métodos existentes frequentemente não otimizam.
A otimização de custos de LLM é crucial para startups de IA, que gastam centenas de milhares anualmente em inferência, com 40-70% dos tokens usados em tarefas de fundo invisíveis. O artigo critica o uso indiscriminado de modelos caros como Claude Opus ou GPT-4 para todas as chamadas de API, incluindo extração de dados e sumarização, o que causa um desperdício significativo de recursos.
Um agente de IA para resposta a incidentes incorreu inicialmente em altos custos, gastando $40 em 3 minutos devido ao uso excessivo de um grande modelo de linguagem. Ao redesenhar a arquitetura com roteamento dinâmico e retenção de contexto, a equipe reduziu os custos de inferência em 65%.
Este artigo analisa por que muitas startups de IA falham quando os custos de inferência excedem o que os clientes pagarão. Ele apresenta um framework de economia unitária (Custo por Inferência, Receita por Usuário, Margem Bruta) e aconselha fundadores a otimizar a eficiência da inferência desde o início, em vez de focar apenas na velocidade de lançamento.