KI-Agenten werden oft unter der Annahme perfekter Netzwerkbedingungen entwickelt, doch ihre tatsächlichen Ausfälle resultieren aus Netzwerkproblemen wie Latenz und Paketverlust, nicht nur aus der Modellqualität. Damit Agenten in der Produktion funktionieren, muss Netzwerkinfrastruktur wieder zu einem vorrangigen Designaspekt werden.
VAKRA, ein neuer Benchmark von IBM Research, zeigt, dass KI-Agenten auf vorhersagbare, strukturelle Weise versagen, indem er Bruchstellen zwischen Argumentation, Werkzeugauswahl und Ausführung abbildet. Er zerlegt Agentenversagen in sechs spezifische Kategorien und geht über traditionelle binäre Bewertungen hinaus, um gemeinsame Schwächen aufzudecken.
Ein Projektmanager nutzte KI, um drei gescheiterte Projekte zu überprüfen und Muster sowie Grundursachen zu finden. Die KI deckte unbequeme Erkenntnisse auf, wie die Verwechslung von Status mit Fortschritt, und lieferte eine ehrliche Analyse.
Dieser Devlog beschreibt den Fortschritt von Kiwi-chan, einem autonomen LLM, das Minecraft navigiert, während eines 4-stündigen Minen-Sprints. Die größte Herausforderung war das anhaltende Versagen der KI, abgebauten Pflasterstein aufzuheben, trotz korrektem Code und strengen Regeln.