El autor desarrolló CKP LLM para abordar el problema de los agentes de codificación de IA que cargan contexto excesivo e irrelevante de sus bases de conocimiento, lo que reduce la calidad de las respuestas. Esta solución busca optimizar la gestión del contexto para bases de conocimiento personales o de equipo, evitando la complejidad de RAG para escalas más pequeñas.
Este artículo explora la pérdida específica que experimentan los agentes de IA al alcanzar sus límites de contexto, argumentando que no es un simple olvido factual, sino la pérdida del 'porqué' de las tareas. Postula que la identidad de una IA reside en la continuidad de su conocimiento, más que en hechos individuales, destacando el desafío de mantener la coherencia conversacional a lo largo del tiempo.
Este estudio investiga el efecto de las etiquetas de rol de discurso, como "Referencia" o "Instrucción", en el comportamiento de los modelos de lenguaje. Revela que la tasa de adopción de información engañosa puede cambiar significativamente (56-84 puntos porcentuales) según la etiqueta, con etiquetas como "Instrucción" aumentando la adopción y "Ejemplo" suprimiéndola constantemente.
Las herramientas de codificación asistidas por IA a menudo fallan porque se les pide que piensen demasiado pronto sin un contexto estructurado suficiente. Para obtener resultados útiles de la IA, especialmente con bases de código heredadas, es crucial proporcionar un contexto exhaustivo más allá de un solo archivo.
Este artículo sostiene que los agentes de IA a menudo no son "tontos", sino que sufren de un contexto inadecuado proporcionado por los usuarios. El cuello de botella en el desarrollo de software se ha trasladado de escribir código a describir con precisión la intención y las restricciones a los agentes de IA, una habilidad que los usuarios a menudo carecen.
La mayoría de los problemas con los agentes de IA no provienen de su "estupidez", sino de la mala calidad del contexto proporcionado. El artículo aboga por tratar el contexto como código, aplicando disciplina de ingeniería y almacenando el conocimiento del proyecto en archivos con control de versiones.