Este artículo explora los costos reales de la inteligencia artificial, destacando el elevado consumo de energía y recursos necesarios para entrenar y operar modelos de IA. Aborda el impacto ambiental y económico de la creciente demanda de infraestructura de IA.
Una función de IA en producción generó costos inesperadamente altos debido a indicaciones más largas de los clientes y a la recuperación de contexto adicional, duplicando el uso de tokens. La falta de herramientas de atribución de costos en el panel de OpenAI dificulta el seguimiento de qué función o modelo está generando los gastos.
El precio del token es una métrica fácil pero engañosa para el costo de la IA. La medida real debería ser el costo por tarea finalizada, ya que los tokens más baratos podrían no ser más económicos si requieren más trabajo para el mismo resultado útil.
El nuevo tokenizer de Claude Opus 4.7 está provocando un aumento efectivo del 35% en el costo por el mismo trabajo, ya que consume más tokens que la versión 4.6. Aunque las mejoras en el razonamiento son reales para tareas complejas, el autor planea usar 4.7 de forma selectiva y mantener 4.6 para tareas donde la eficiencia de tokens es clave.
El artículo examina la experiencia del autor al alcanzar el límite de uso de ChatGPT, descubriendo patrones de repetición e ineficiencia en la interacción con LLMs. Plantea preguntas sobre el costo oculto y la necesidad de un cambio de perspectiva en el uso de estas herramientas.
El autor notó un aumento del 40% en su factura de IA (Claude) a pesar de intentar usarla menos. Este costo inesperado se debió a la práctica de mantener conversaciones largas y abiertas, lo que acumuló contexto y aumentó el consumo de tokens.
El artículo desmitifica la creencia de que la IA consume mucha agua, afirmando que una consulta de ChatGPT utiliza poca, pero resalta el alto costo, a menudo pasado por alto, de los servicios de IA. Detalla cómo el precio de una suscripción a ChatGPT Plus representa una parte significativa de los ingresos en varios países, especialmente fuera de EE. UU.