Dans le journal des modifications de l'API Gemini mis à jour le 30 octobre 2026, Google a annoncé que l'outil Computer Use atteignait la disponibilité générale, couvrant à la fois l'API Interactions et l'API GenerateContent. Cela signifie que la capacité à laisser un modèle regarder des captures d'écran et cliquer et taper directement est passée de l'aperçu à un outil prêt pour la production. Computer Use est apparu pour la première fois en aperçu public le 24 juin 2026, prenant déjà en charge les environnements de navigateur, mobile et de bureau, ainsi que les explications d'intention, les politiques de sécurité configurables et la détection d'injection de requêtes.
Computer Use fonctionne en boucle. Le développeur envoie d'abord au modèle l'instruction de l'utilisateur, la configuration et une capture de l'écran actuel, et le modèle renvoie après avoir regardé l'image une action d'interface, comme un clic, un défilement ou une frappe, accompagnée d'une explication de l'intention derrière cette étape et d'une décision de sécurité. Les décisions de sécurité se déclinent en trois niveaux : autorisée, confirmation de l'utilisateur requise, ou bloquée directement. Le programme client du côté du développeur exécute l'action autorisée, puis capture une nouvelle image et la renvoie au modèle, et le cycle se répète jusqu'à ce que la tâche soit terminée ou interrompue. Le modèle lui-même se contente de regarder et de décider ; le travail réel est effectué par l'environnement d'exécution du côté du développeur, et la documentation officielle exige d'exécuter l'agent dans une machine virtuelle ou un conteneur isolé, avec une implémentation de référence fondée sur Docker proposée comme point de départ. Parmi les usages typiques cités dans la documentation figurent la saisie répétitive de données et le remplissage de formulaires, les tests automatisés d'applications web, ainsi que la collecte d'informations sur les produits, les prix et les avis sur plusieurs sites web.
Disponible ne veut pas dire prêt à l'emploi
La disponibilité générale règle la question de la stabilité de l'interface, pas les deux parties les plus difficiles : l'exécution et la sécurité. Les développeurs doivent encore construire eux-mêmes le client qui gère les captures d'écran, la conversion des coordonnées et l'exécution des actions, traiter les connexions, les captchas et les pages d'erreur, et décider quelles actions doivent d'abord passer par une confirmation humaine. La détection d'injection de requêtes doit être activée délibérément ; elle analyse les captures d'écran à la recherche d'instructions adverses cachées, mais la documentation ne promet pas d'intercepter chaque injection. Pour les utilisateurs, le changement se manifestera surtout du côté de l'offre : davantage d'applications prétendront faire fonctionner un ordinateur à leur place pour réserver des billets, remplir des formulaires et comparer des prix, et le critère ne sera plus de savoir si un modèle peut lire une interface, mais s'il s'arrête pour demander avant d'agir sur un compte, et si ses actions peuvent être vérifiées ensuite. Cette mise à jour n'a donné aucun nouveau prix ni résultat de référence dans le journal des modifications, de sorte qu'avant une migration, les développeurs doivent encore mesurer les taux de réussite et le coût par tâche sur leurs propres tâches, plutôt que de se fier aux seuls mots disponibilité générale.
