GUI automation

2 items

ARTICLEDEV.to AI·13/4/2026

Open-Sourcing Mano-P Today: Pure Vision GUI Agent, OSWorld #1, Apache 2.0

Mano-P, un agente GUI de visión pura, ha sido lanzado como código abierto bajo Apache 2.0, destacándose por interactuar con pantallas de ordenador únicamente a través de capturas de pantalla. Presume de un rendimiento superior en los benchmarks de OSWorld y prioriza la privacidad al ejecutarse en el dispositivo, sirviendo como base para el desarrollo de IA personalizada.

open-source GUI automation AI agent on-device AI

RESEARCHarXiv CS.AI·1/5/2026

Step-level Optimization for Efficient Computer-use Agents

Esta investigación destaca la ineficiencia de los agentes de uso de computadora actuales, que emplean excesivamente grandes modelos multimodales para cada interacción de interfaz gráfica. Argumenta que las tareas son heterogéneas, con pasos rutinarios que requieren menos cómputo, mientras que los errores se concentran en momentos de alto riesgo como bloqueos o deriva semántica, necesitando optimización dirigida.

multimodal models model efficiency GUI automation AI Agents