Este artigo, parte de uma série, explora como as organizações frequentemente pagam duas vezes pela mesma resposta de LLM devido à recomputação constante. Ele destaca a necessidade de repensar a reutilização do trabalho para otimizar os custos e a eficiência da IA.
Semble, uma nova ferramenta de código aberto, reduz drasticamente o consumo de tokens na busca de código por IA em 98% em comparação com métodos tradicionais como grep. Isso é alcançado extraindo apenas os trechos de código necessários e removendo elementos irrelevantes, diminuindo significativamente os custos dos prompts de LLM.
O lançamento do Claude Opus 4.7, com seu novo tokenizer que aumenta o uso de tokens em até 35% para o mesmo texto, levou o autor a levar a sério a gestão de desperdício de tokens. O artigo abordará como ele mediu e diferenciou o desperdício de tokens do uso ineficiente em mais de 133.000 interações.