← heapsort-ai

GUI automation

2 items

ARTICLEDEV.to AI·13/04/2026

Open-Sourcing Mano-P Today: Pure Vision GUI Agent, OSWorld #1, Apache 2.0

Mano-P, un agent GUI purement visuel, a été mis en open source sous la licence Apache 2.0, se distinguant par son interaction avec les écrans d'ordinateur uniquement via des captures d'écran. Il affiche des performances de pointe sur les benchmarks OSWorld et privilégie la confidentialité en s'exécutant sur l'appareil, servant de base pour l'IA personnalisée.

27
RESEARCHarXiv CS.AI·01/05/2026

Step-level Optimization for Efficient Computer-use Agents

Cette recherche souligne l'inefficacité des agents informatiques actuels, qui surutilisent de grands modèles multimodaux pour chaque interaction d'interface graphique. Elle soutient que les tâches sont hétérogènes, les étapes routinières nécessitant moins de calcul, tandis que les erreurs se concentrent sur les moments à haut risque comme les blocages ou la dérive sémantique, exigeant une optimisation ciblée.

27