Vercel Labs hat am 31. Oktober das Open-Source-Tool agent-desktop veröffentlicht. Es ermöglicht Programmieragenten, Desktop-Anwendungen auf macOS, Windows und Linux direkt zu steuern. Statt Koordinaten aus Screenshots zu erraten, liest es den vom Betriebssystem bereitgestellten Accessibility-Baum und verwandelt die Struktur der Benutzeroberfläche in Daten, auf die ein Agent direkt verweisen kann. Damit wechselt Computer Use von visueller Vermutung zu strukturiertem Lesen: Das Ziel einer Aktion ist kein Pixel mehr, sondern ein nummeriertes Element der Benutzeroberfläche.
agent-desktop ist selbst kein Agent und enthält kein Modell. Es ist ein in Rust geschriebenes Kommandozeilen-Tool und eine C-Bibliothek, die jeder Agent aufrufen kann, der Terminalbefehle ausführen kann. Jeder Befehl gibt einen JSON-Snapshot zurück, jedes bedienbare Element auf dem Bildschirm erhält eine Referenznummer, der Agent handelt anhand einer Nummer und liest die Oberfläche anschließend erneut, um das Ergebnis zu prüfen. Das Projekt steht unter der Apache-2.0-Lizenz, die neueste Version 1.0.2 wurde am 30. Oktober veröffentlicht. Das offizielle Repository liegt auf GitHub, der Organisationsname ist Vercel Labs, der Projektname lautet agent-desktop.
Warum ist es ohne Screenshots zuverlässiger?
Bei einem Screenshot-Ansatz muss ein Modell zuerst ein Bild ansehen und dann die Position eines Buttons schätzen; ändert sich die Oberfläche, klickt es leicht daneben. Der Accessibility-Baum nennt Rolle und Namen von Buttons, Eingabefeldern und Menüs direkt, und eine Referenznummer ist an den Snapshot gebunden, in dem sie gefunden wurde. Ändert sich die Oberfläche, liefert eine alte Nummer einen Fehler wegen einer veralteten Referenz, und der Agent muss erneut lesen, statt trotzdem weiterzuklicken. Standardmäßig laufen Aktionen im Hintergrund, ohne die Maus zu bewegen oder den Fokus zu stehlen, sodass Nutzer weiterarbeiten können. Wird der Interface-Baum zu groß, bietet das Projekt einen Skelettmodus, der nur die Containerstruktur zeigt, sodass der Agent einen Bereich nach dem anderen aufklappen kann, statt tausende Knoten auf einmal zu verarbeiten.
Welche Apps bleiben unerreichbar?
- Anwendungen, die keinen Accessibility-Baum bereitstellen, liegen außerhalb des Anwendungsbereichs, etwa manche Canvas-Oberflächen und spielartige Oberflächen, bei denen visuelle Ansätze weiterhin wertvoll sind.
- Web-Automatisierung bleibt Aufgabe von agent-browser; agent-desktop kümmert sich nur um Desktop-Anwendungen. Es kann einen Debugging-Port für Chromium- oder Electron-Anwendungen öffnen, woraufhin agent-browser den Web-Teil übernimmt.
- Die Qualität der Automatisierung hängt davon ab, wie jede Anwendung ihre Oberfläche umsetzt, sodass dasselbe Tool in verschiedenen Anwendungen sehr unterschiedlich abschneiden kann. Eine Demonstration am Veröffentlichungstag darf nicht als allgemeine Schlussfolgerung verstanden werden.
Für Entwickler liegt der Wert von agent-desktop nicht in noch einem Agenten, sondern darin, Desktop-Bedienung in eine aufrufbare und wiederholbare Infrastruktur zu verwandeln. Zunächst sollte in kleinem Rahmen geprüft werden, ob das Tool die Zielanwendung stabil lesen kann, bevor entschieden wird, ob es in den täglichen Arbeitsablauf aufgenommen wird. Als Nächstes ist die Stabilität in echten Büroanwendungen zu beobachten, nicht die Aufmerksamkeit am Veröffentlichungstag.
