Cet article met en lumière les complexités inattendues de la mise à l'échelle de la génération de texte par IA, notamment en ce qui concerne les limites de débit d'API. L'auteur a découvert que les limites de débit d'OpenAI sont multidimensionnelles (RPM, TPM, TPD) et indépendantes, entraînant des échecs même lorsque les limites de base semblaient respectées.
L'article revient sur le lancement du Treasure Hunt Engine, un an après son déploiement, qui visait à révolutionner le jeu avec des mécaniques basées sur l'IA. Le principal défi, cependant, n'était pas l'IA, mais de dimensionner efficacement les serveurs et l'infrastructure pour gérer la croissance rapide et l'augmentation du trafic sans subir de problèmes de latence.
Un moteur de chasse au trésor a subi de graves défaillances et un taux d'erreur élevé (30 %) en atteignant un point d'inflexion de croissance. La configuration initiale de Veltrix avec mise en cache et mise à l'échelle horizontale s'est avérée insuffisante pour 10 000 utilisateurs simultanés, entraînant une latence de 5 secondes et des abandons d'utilisateurs.