Diese Arbeit schlägt das LAMO-Framework vor, um die Herausforderung des Einsatzes leichtgewichtiger MLLM-gestützter autonomer GUI-Agenten auf ressourcenbeschränkten Geräten zu bewältigen. LAMO erweitert leichtgewichtige MLLMs um GUI-spezifisches Wissen und Aufgabenskalierbarkeit durch Multi-Rollen-Orchestrierung.
Die Arbeit stellt den „Turing Test on Screen“ vor, um Anti-Detektion für autonome GUI-Agenten zu modellieren, wobei die Humanisierung für deren Überleben in digitalen Ökosystemen betont wird. Sie etabliert den Agent Humanization Benchmark (AHB) und schlägt Methoden zur Verbesserung der Imitierbarkeit und Nützlichkeit der Agenten vor, basierend auf einem neuen Datensatz mobiler Berührungsdynamiken.
RiskWebWorld wird als der erste hochrealistische interaktive Benchmark zur Bewertung von GUI-Agenten im E-Commerce-Risikomanagement vorgestellt, der deren unerforschte Effektivität in anspruchsvollen Untersuchungsbereichen adressiert. Es umfasst 1.513 Aufgaben aus Produktions-Risikokontroll-Pipelines und eine Gymnasium-konforme Infrastruktur für skalierbare Evaluationen, wobei es eine dramatische Fähigkeitslücke über diverse Modelle hinweg aufzeigt.
UI-Oceanus é uma estrutura que escala agentes GUI generalistas, focando em dominar a física da interação através de feedback ambiental em vez de imitar trajetórias. O sistema utiliza exploração autônoma e predição de dinâmicas futuras para construir um modelo de mundo interno robusto, superando limitações de dados e supervisão.