The Hidden Complexity of "Simple" Text Generation at Scale

Este artículo subraya las complejidades inesperadas de escalar la generación de texto con IA, especialmente en lo que respecta a los límites de velocidad de la API. El autor descubrió que los límites de velocidad de OpenAI son multidimensionales (RPM, TPM, TPD) e independientes, causando fallas incluso cuando los límites básicos parecían cumplirse.