Vercel Labs a publié le 31 octobre agent-desktop, un outil open source qui permet aux agents de programmation de piloter directement les applications de bureau sur macOS, Windows et Linux. Au lieu de deviner des coordonnées à partir de captures d'écran, il lit l'arborescence d'accessibilité fournie par le système d'exploitation et transforme la structure de l'interface en données qu'un agent peut référencer directement. L'opération passe ainsi d'une supposition visuelle à une lecture structurée : la cible d'une action n'est plus un pixel, mais un élément d'interface numéroté.
agent-desktop n'est pas lui-même un agent et n'intègre aucun modèle. C'est un outil en ligne de commande écrit en Rust, ainsi qu'une bibliothèque C, que tout agent capable d'exécuter des commandes de terminal peut appeler. Chaque commande renvoie un instantané JSON, chaque élément actionnable de l'écran reçoit un numéro de référence, l'agent agit à partir d'un numéro puis relit l'interface pour vérifier le résultat. Le projet est sous licence Apache-2.0 et la version la plus récente, 1.0.2, a été publiée le 30 octobre. Le dépôt officiel se trouve sur GitHub, le nom de l'organisation est Vercel Labs et le nom du projet est agent-desktop.
Pourquoi est-ce plus fiable sans capture d'écran ?
Avec une approche fondée sur les captures d'écran, un modèle doit d'abord regarder une image puis estimer la position d'un bouton ; dès que l'interface change, il risque de cliquer au mauvais endroit. L'arborescence d'accessibilité donne directement le rôle et le nom de chaque bouton, champ de saisie et menu, et un numéro de référence est lié à l'instantané dans lequel il a été trouvé. Si l'interface change, un ancien numéro renvoie une erreur de référence périmée, et l'agent doit relire l'interface au lieu de cliquer quand même. Par défaut, les actions s'exécutent en arrière-plan, sans déplacer la souris ni voler le focus, de sorte que l'utilisateur peut continuer à travailler. Quand l'arborescence d'interface devient trop volumineuse, le projet propose un mode squelette qui n'affiche que la structure des conteneurs, permettant à l'agent d'ouvrir une zone à la fois au lieu d'absorber des milliers de nœuds en une fois.
Quelles applications restent hors de portée ?
- Les applications qui n'exposent pas d'arborescence d'accessibilité sont hors du champ couvert, par exemple certaines interfaces de type canevas et les interfaces ludiques, où les approches visuelles conservent leur valeur.
- L'automatisation web reste le rôle d'agent-browser ; agent-desktop ne traite que les applications de bureau. Il peut ouvrir un port de débogage pour les applications Chromium ou Electron, puis agent-browser prend en charge la partie web.
- La qualité de l'automatisation dépend de la façon dont chaque application met en œuvre son interface, de sorte que le même outil peut donner des résultats très différents selon les applications. Une démonstration le jour de la publication ne doit pas être prise pour une conclusion générale.
Pour les développeurs, la valeur d'agent-desktop ne réside pas dans un agent de plus, mais dans la transformation de l'utilisation du bureau en une infrastructure appelable et réessayable. Il faut d'abord vérifier, sur un périmètre restreint, qu'il peut lire de façon stable l'application cible, avant de décider de l'intégrer au flux de travail quotidien. Ce qu'il faudra observer ensuite, c'est son historique de stabilité dans de vraies applications de bureautique, et non l'attention reçue le jour de la publication.
