Este artigo propõe o framework LAMO para enfrentar o desafio de implementar agentes GUI autônomos baseados em MLLMs leves em dispositivos com recursos limitados. O LAMO aprimora MLLMs leves com conhecimento específico de GUI e escalabilidade de tarefas por meio de orquestração multi-funções.
O artigo apresenta o "Turing Test on Screen" para modelar a anti-detecção de agentes GUI autônomos, focando na humanização para sua sobrevivência em ecossistemas digitais. Ele estabelece o Agent Humanization Benchmark (AHB) e propõe métodos para melhorar a imitabilidade e utilidade dos agentes, usando um novo conjunto de dados de dinâmicas de toque móvel.
RiskWebWorld é apresentado como o primeiro benchmark interativo altamente realista para avaliar agentes de GUI na gestão de riscos de e-commerce, abordando sua eficácia subexplorada em domínios investigativos de alto risco. Ele inclui 1.513 tarefas de pipelines de controle de risco de produção e uma infraestrutura compatível com Gymnasium, revelando uma dramática lacuna de capacidade nos modelos atuais.
UI-Oceanus é uma estrutura que escala agentes GUI generalistas, focando em dominar a física da interação através de feedback ambiental em vez de imitar trajetórias. O sistema utiliza exploração autônoma e predição de dinâmicas futuras para construir um modelo de mundo interno robusto, superando limitações de dados e supervisão.