Este artículo subraya las complejidades inesperadas de escalar la generación de texto con IA, especialmente en lo que respecta a los límites de velocidad de la API. El autor descubrió que los límites de velocidad de OpenAI son multidimensionales (RPM, TPM, TPD) e independientes, causando fallas incluso cuando los límites básicos parecían cumplirse.
El artículo reflexiona sobre el lanzamiento del Treasure Hunt Engine, un año después de su implementación, que buscaba revolucionar los videojuegos con mecánicas impulsadas por IA. Sin embargo, el principal desafío no fue la IA, sino escalar eficientemente los servidores y la infraestructura para manejar el rápido crecimiento y el aumento del tráfico sin sucumbir a problemas de latencia.
Un motor de búsqueda del tesoro experimentó fallas graves y una alta tasa de errores (30%) al alcanzar un punto de inflexión de crecimiento. La configuración inicial de Veltrix con caché y escalado horizontal fue insuficiente para 10.000 usuarios concurrentes, lo que resultó en una latencia de 5 segundos y la caída de usuarios.