Keeping a chat app's token bill flat as conversations grow

Cet article aborde le problème de l'augmentation des coûts des jetons dans les applications de chat IA à mesure que les conversations s'allongent, en raison de l'envoi de l'historique complet de la conversation à chaque tour. Il présente une solution utilisant un "résumé glissant" combiné à une "fenêtre verbatim" pour optimiser l'utilisation des jetons et contrôler les dépenses.