Production AI very different from the demos [D]

Une fonctionnalité d'IA en production a entraîné des coûts étonnamment élevés en raison de requêtes client plus longues et de l'ajout de récupération de contexte, doublant l'utilisation des tokens. L'absence d'outils d'attribution des coûts dans le tableau de bord OpenAI rend difficile de savoir quelle fonctionnalité ou quel modèle génère les dépenses.