Les agents d'IA sont souvent construits en supposant des conditions de réseau parfaites, mais leurs échecs réels proviennent de problèmes de réseau comme la latence et la perte de paquets, et pas seulement de la qualité du modèle. Pour garantir des agents prêts pour la production, le réseau doit redevenir une préoccupation de conception primordiale.
VAKRA, un nouveau benchmark d'IBM Research, révèle que les agents IA échouent de manière prévisible et structurelle en cartographiant les points de rupture entre le raisonnement, la sélection d'outils et l'exécution. Il décompose l'échec des agents en six catégories spécifiques, allant au-delà des évaluations binaires traditionnelles pour découvrir les faiblesses courantes.
Un chef de projet a utilisé l'IA pour auditer trois projets passés ayant échoué, recherchant des schémas et des causes profondes. L'IA a révélé des observations inconfortables, comme la confusion entre le statut et le progrès, offrant une analyse honnête.
Ce devlog détaille la progression de Kiwi-chan, un LLM autonome opérant dans Minecraft, lors d'une session de minage de 4 heures. Le défi principal était l'échec constant de l'IA à ramasser la pierre concassée, malgré un code et des règles solides.