← heapsort-ai

token management

9 items

ARTICLEDEV.to AI·il y a 2j

Keeping a chat app's token bill flat as conversations grow

Cet article aborde le problème de l'augmentation des coûts des jetons dans les applications de chat IA à mesure que les conversations s'allongent, en raison de l'envoi de l'historique complet de la conversation à chaque tour. Il présente une solution utilisant un "résumé glissant" combiné à une "fenêtre verbatim" pour optimiser l'utilisation des jetons et contrôler les dépenses.

52
ARTICLEDEV.to AI·il y a 7j

How I tell when Claude Code or Codex is burning tokens on the wrong work

L'article explique comment identifier quand les agents de codage IA comme Claude Code ou Codex gaspillent des tokens sur un travail inefficace. Les signes incluent l'édition répétée des mêmes fichiers ou une augmentation rapide des tokens pour une faible différence de code, suggérant la nécessité de tâches plus petites et ciblées pour l'agent.

28
ARTICLEDEV.to AI·il y a 20j

One Tool That Cuts Token Costs 40-80% for Claude Code, Codex, opencode, and openclaw

Cet article identifie quatre schémas structurels qui augmentent considérablement les coûts de jetons pour les modèles d'IA tels que Claude Code et Codex, soulignant que l'optimisation des invites seule est insuffisante. Les problèmes incluent les captures d'écran en pleine résolution, les lectures de fichiers répétées, la compaction qui perd le contexte et la sortie Bash non optimisée, qui augmentent collectivement les factures d'API.

28
ARTICLEDEV.to AI·il y a 10j

When Agents Loop Forever: 4 Root Causes and How to Stop Them

Les agents d'IA peuvent se retrouver bloqués dans des boucles perpétuelles en raison d'une ingénierie de prompt incorrecte, telle que la concaténation continue de l'historique de conversation. Cela élargit le contexte, épuise les quotas d'API et entraîne des coûts importants en posant la même question ou en déclenchant des limites de débit.

27