Este artigo destaca as complexidades inesperadas de escalar a geração de texto por IA, especialmente em relação aos limites de taxa de API. O autor descobriu que os limites de taxa do OpenAI são multidimensionais (RPM, TPM, TPD) e independentes, causando falhas mesmo quando os limites básicos pareciam ser atendidos.
O artigo reflete sobre o lançamento do Treasure Hunt Engine, um ano após sua implementação, que visava revolucionar os jogos com mecânicas impulsionadas por IA. O principal desafio, contudo, não foi a IA, mas sim escalar servidores e infraestrutura de forma eficiente para lidar com o rápido crescimento e o aumento do tráfego sem sucumbir a problemas de latência.
O motor de jogo de caça ao tesouro enfrentou falhas severas e uma alta taxa de erros (30%) ao atingir um ponto de inflexão de crescimento. A configuração inicial do Veltrix com caching e escalonamento horizontal foi insuficiente para 10.000 usuários simultâneos, resultando em latência de 5 segundos e queda de usuários.