Keeping a chat app's token bill flat as conversations grow

Este artigo aborda o problema do custo crescente de tokens em aplicações de chat com IA à medida que as conversas se estendem, pois o histórico da conversa é reenviado em cada turno. É apresentada uma solução utilizando uma "rolling summary" combinada com uma "verbatim window" para otimizar o uso de tokens e controlar os custos.