Los agentes de IA a menudo se construyen asumiendo condiciones de red perfectas, pero sus fallas en el mundo real provienen de problemas de red como la latencia y la pérdida de paquetes, no solo de la calidad del modelo. Para garantizar agentes listos para producción, la red debe convertirse en una consideración de diseño primordial.
VAKRA, un nuevo benchmark de IBM Research, revela que los agentes de IA fallan de maneras predecibles y estructurales, mapeando puntos de fractura entre el razonamiento, la selección de herramientas y la ejecución. Descompone el fallo del agente en seis categorías específicas, superando las evaluaciones binarias tradicionales para descubrir debilidades comunes.
Un gerente de proyectos usó IA para auditar tres proyectos fallidos anteriores, buscando patrones y causas raíz. La IA encontró percepciones incómodas, como confundir el estado con el progreso, ofreciendo un análisis honesto.
Este devlog detalla el progreso de Kiwi-chan, un LLM autónomo que opera en Minecraft, durante una sesión de minería de 4 horas. El desafío principal fue el fracaso constante de la IA para recoger el adoquín minado, a pesar del código y las reglas sólidas.