The Hidden Complexity of "Simple" Text Generation at Scale

Este artigo destaca as complexidades inesperadas de escalar a geração de texto por IA, especialmente em relação aos limites de taxa de API. O autor descobriu que os limites de taxa do OpenAI são multidimensionais (RPM, TPM, TPD) e independentes, causando falhas mesmo quando os limites básicos pareciam ser atendidos.