Agentes de IA são frequentemente construídos assumindo condições de rede perfeitas, mas suas falhas no mundo real decorrem de problemas de rede como latência e perda de pacotes, e não apenas da qualidade do modelo. Para garantir agentes prontos para produção, a rede deve se tornar uma consideração de design primária.
VAKRA, um novo benchmark da IBM Research, revela que agentes de IA falham de maneiras previsíveis e estruturais, mapeando pontos de falha entre raciocínio, seleção de ferramentas e execução. Ele decompõe a falha do agente em seis categorias específicas, indo além das avaliações binárias tradicionais para descobrir fraquezas comuns.
Um gerente de projetos usou IA para auditar três projetos passados que falharam, buscando padrões e causas raízes. A IA revelou percepções desconfortáveis, como confundir status com progresso, oferecendo uma análise honesta.
Este devlog detalha o progresso de Kiwi-chan, uma LLM autônoma operando no Minecraft, durante uma sessão de mineração de 4 horas. O desafio principal foi a falha consistente da IA em coletar a pedra minerada, apesar do código e das regras estritas.