Este artículo, parte de una serie, explora cómo las organizaciones a menudo pagan dos veces por la misma respuesta de LLM debido a la recomputación constante. Destaca la necesidad de repensar cómo se reutiliza el trabajo para optimizar los costos y la eficiencia de la IA.
Semble, una nueva herramienta de código abierto, reduce drásticamente los tokens de búsqueda de código de IA en un 98% en comparación con los métodos tradicionales de grep. Logra esto extrayendo solo los fragmentos de código necesarios y eliminando elementos irrelevantes, lo que disminuye significativamente los costos de los prompts de LLM.
El lanzamiento de Claude Opus 4.7, con su nuevo tokenizer que aumenta el uso de tokens hasta en un 35% para el mismo texto, hizo que el autor se tomara en serio la gestión del desperdicio de tokens. El artículo explicará cómo midió y diferenció el desperdicio del uso ineficiente en más de 133.000 interacciones.