In den am 30. Oktober 2026 aktualisierten Versionshinweisen zur Gemini API kündigte Google an, dass das Computer-Use-Werkzeug die allgemeine Verfügbarkeit erreicht hat und sowohl die Interactions API als auch die GenerateContent API abdeckt. Damit ist die Fähigkeit, ein Modell Bildschirmfotos ansehen und direkt klicken und tippen zu lassen, von der Vorschau zu einem produktionsreifen Werkzeug geworden. Computer Use erschien erstmals am 24. Juni 2026 als öffentliche Vorschau und unterstützte bereits damals Browser-, Mobil- und Desktop-Umgebungen sowie Absichtserklärungen, konfigurierbare Sicherheitsrichtlinien und die Erkennung von Prompt-Injection.
Computer Use arbeitet in einer Schleife. Die Entwicklerin oder der Entwickler sendet dem Modell zuerst die Anweisung der Nutzerin oder des Nutzers, die Konfiguration und ein Bildschirmfoto des aktuellen Bildschirms, und das Modell gibt nach dem Betrachten des Bildes eine Oberflächenaktion zurück, etwa einen Klick, einen Bildlauf oder einen Tastendruck, zusammen mit einer Erklärung der Absicht hinter diesem Schritt und einer Sicherheitsentscheidung. Sicherheitsentscheidungen gibt es in drei Stufen: erlaubt, Bestätigung durch die Nutzerin oder den Nutzer erforderlich oder direkt blockiert. Das Clientprogramm auf der Entwicklerseite führt die erlaubte Aktion aus, nimmt dann ein neues Bildschirmfoto auf und sendet es an das Modell zurück, und der Zyklus wiederholt sich, bis die Aufgabe abgeschlossen oder abgebrochen wird. Das Modell selbst schaut nur und entscheidet; die eigentliche Arbeit leistet die Ausführungsumgebung auf der Entwicklerseite, und die offizielle Dokumentation verlangt, den Agenten in einer isolierten virtuellen Maschine oder einem Container laufen zu lassen, wobei eine Docker-basierte Referenzimplementierung als Ausgangspunkt angeboten wird. Zu den in der Dokumentation genannten typischen Anwendungen gehören wiederholte Dateneingaben und das Ausfüllen von Formularen, automatisierte Tests von Webanwendungen sowie das Sammeln von Produktinformationen, Preisen und Bewertungen über Websites hinweg.
Allgemein verfügbar heißt nicht sofort einsatzbereit
Die allgemeine Verfügbarkeit klärt die Frage der Schnittstellenstabilität, nicht die beiden schwierigsten Teile: Ausführung und Sicherheit. Entwicklerinnen und Entwickler müssen weiterhin den Client selbst bauen, der Bildschirmfotos, Koordinatenumrechnung und Aktionsausführung übernimmt, sich mit Anmeldungen, Captchas und Fehlerseiten befassen und entscheiden, welche Aktionen zuerst eine menschliche Bestätigung brauchen. Die Erkennung von Prompt-Injection muss bewusst eingeschaltet werden; sie durchsucht Bildschirmfotos nach versteckten feindlichen Anweisungen, doch die Dokumentation verspricht nicht, jede Injection abzufangen. Für Nutzerinnen und Nutzer wird sich die Veränderung vor allem auf der Angebotsseite zeigen: Mehr Anwendungen werden behaupten, einen Computer in ihrem Auftrag zu bedienen, um Tickets zu buchen, Formulare auszufüllen und Preise zu vergleichen, und der Maßstab wird nicht mehr sein, ob ein Modell eine Oberfläche lesen kann, sondern ob es anhält und fragt, bevor es auf ein Konto zugreift, und ob seine Aktionen hinterher nachvollzogen werden können. Dieses Update nannte in den Versionshinweisen keine neuen Preise oder Benchmark-Ergebnisse, sodass Entwicklerinnen und Entwickler vor einer Umstellung weiterhin Erfolgsquoten und Kosten pro Aufgabe an den eigenen Aufgaben messen müssen, statt sich allein auf die Worte allgemein verfügbar zu verlassen.
