Las explosiones de costos de los agentes de IA son un problema importante en producción, donde los agentes autónomos pueden generar gastos masivos y silenciosos de LLM. Las soluciones actuales, como el monitoreo manual y los límites de gasto a nivel de proveedor, son inadecuadas para gestionar estos costos descontrolados.
El artículo aborda el problema común de los costes de LLM en producción que se disparan inesperadamente, explicando que la causa no es el coste directo del modelo, sino las decisiones de diseño iniciales. Un error clave identificado es usar un único y costoso endpoint de inferencia para todo tipo de solicitudes, sin optimización.
El autor presenta su "AI Agent Grader v3" gratuito, que identifica nueve señales para diferenciar agentes de IA saludables de fallos silenciosos. La nueva versión aborda problemas inesperados de facturación de LLM, como el "tokenmaxxing", que las versiones anteriores no detectaron.
El artículo revela que los agentes de IA, a diferencia de los chatbots simples, multiplican drásticamente las llamadas a la API por solicitud del usuario, lo que lleva a presupuestos inesperadamente desbordados. Un experimento mostró que un agente de investigación realizaba 14 llamadas LLM por consulta, lo que resultaba en costos diarios sustanciales para los usuarios activos.
El autor señala una brecha clave en la gestión de costos de LLM en producción: aunque la observabilidad es común, la aplicación del presupuesto en tiempo de ejecución es inexistente. Argumenta que descubrir facturas elevadas a fin de mes a través de un panel es demasiado tarde y presenta LLMeter como una herramienta de código abierto para la atribución de costos por usuario y alertas presupuestarias.
Un experimento reveló que un agente de IA consumió 26.000 tokens y desperdició $0,40-0,60 al realizar la misma tarea de búsqueda en el navegador 10 veces. El agente no aprendió de sesiones anteriores, tratando cada ejecución como una nueva fase de exploración y demostrando ineficiencia en operaciones repetitivas.
El artículo presenta el Protocolo PAX, un formato de comunicación estructurado y comprimido desarrollado para sistemas de múltiples agentes de IA. Su objetivo es reducir los costos de tokens en aproximadamente un 70% y mantener el contexto entre 13 agentes que necesitan comunicarse constantemente, reemplazando la costosa prosa en inglés.