Este artículo analiza por qué los asistentes de codificación generan costos exorbitantes de API LLM debido a solicitudes frecuentes y la necesidad crítica de tiempos de respuesta inferiores a 200ms. Explora el dilema entre usar modelos insignia caros para calidad o modelos económicos más baratos, sugiriendo la necesidad de una estrategia híbrida.
Una prueba con 30 APIs de LLM encontró una tasa de fallo del 42,7% en 150 llamadas, pero los fallos reales de infraestructura (límite de velocidad) fueron solo del 4%. Esta baja tasa de fallo de infraestructura se alinea con los informes de la industria, validando los esfuerzos actuales de ingeniería de IA.
El contenido detalla cómo los chatbots agotan los presupuestos de IA debido al alto consumo de tokens, especialmente los tokens de salida que cuestan 3-5 veces más. Cuantifica los costos por conversación y el impacto financiero a escala, destacando la necesidad de una optimización inteligente para reducir gastos.