Los crecientes costos de inferencia para modelos de IA de vanguardia están impactando los presupuestos empresariales, con compañías como Uber y Microsoft enfrentando gastos significativos. El modelo de suscripción estándar está resultando inadecuado para reflejar el consumo real, aumentando los costos de ingeniería más rápido que los salarios.
Esta investigación introduce las Políticas Guía-Núcleo (GCoP), un marco para dirigir LLMs de caja negra donde un modelo guía genera estrategias para un modelo central. El estudio formaliza GCoP bajo un objetivo de utilidad sensible al costo, destacando que el rendimiento depende de la ejecutabilidad promedio de la guía, la cual los métodos actuales a menudo no logran optimizar.
La optimización de costos de LLM es crucial para las startups de IA, que gastan cientos de miles anualmente en inferencia, con un 40-70% del gasto en tokens destinado a tareas de fondo invisibles. El artículo critica el uso indiscriminado de modelos caros como Claude Opus o GPT-4 para todas las llamadas a la API, incluida la extracción de datos y la resumización, lo que provoca un desperdicio significativo de recursos.
Un agente de IA para respuesta a incidentes incurrió inicialmente en altos costos, quemando $40 en 3 minutos debido al uso excesivo de un gran modelo de lenguaje. Al rediseñar la arquitectura con enrutamiento dinámico y retención de contexto, el equipo redujo los costos de inferencia en un 65%.
Este artículo analiza por qué muchas startups de IA fracasan cuando los costos de inferencia superan lo que los clientes pagarán. Presenta un marco de economía unitaria (Costo por Inferencia, Ingreso por Usuario, Margen Bruto) y aconseja a los fundadores optimizar la eficiencia de la inferencia desde el principio, en lugar de solo enfocarse en la velocidad de comercialización.