Cet article propose le framework LAMO pour relever le défi du déploiement d'agents GUI autonomes légers alimentés par des MLLM sur des appareils aux ressources limitées. LAMO améliore les MLLM légers avec des connaissances spécifiques à l'interface graphique et une évolutivité des tâches grâce à une orchestration multi-rôles.
L'article introduit le "Turing Test on Screen" pour modéliser l'anti-détection des agents GUI autonomes, soulignant l'importance de l'humanisation pour leur survie dans les écosystèmes numériques. Il établit le Benchmark d'Humanisation des Agents (AHB) et propose des méthodes pour améliorer l'imitabilité et l'utilité des agents, en utilisant un nouveau jeu de données de dynamiques tactiles mobiles.
RiskWebWorld est présenté comme le premier benchmark interactif très réaliste pour évaluer les agents d'interface graphique dans la gestion des risques du commerce électronique, comblant le manque d'exploration dans les domaines d'enquête à enjeux élevés. Il propose 1 513 tâches issues de pipelines de contrôle des risques de production et une infrastructure compatible Gymnasium pour une évaluation évolutive, révélant un écart de capacités significatif.
UI-Oceanus é uma estrutura que escala agentes GUI generalistas, focando em dominar a física da interação através de feedback ambiental em vez de imitar trajetórias. O sistema utiliza exploração autônoma e predição de dinâmicas futuras para construir um modelo de mundo interno robusto, superando limitações de dados e supervisão.