Production AI very different from the demos [D]

Um recurso de IA em produção gerou custos inesperadamente altos devido a prompts mais longos dos clientes e recuperação de contexto, duplicando o uso de tokens. A falta de ferramentas de atribuição de custos no painel do OpenAI torna difícil rastrear qual recurso ou modelo está impulsionando as despesas.