Google は 2026 年 10 月 30 日に更新した Gemini API の変更履歴で、Computer Use ツールが一般提供の段階に入り、Interactions API と GenerateContent API の両方を対象とすると発表した。モデルに画面のスクリーンショットを見せ、直接クリックや入力をさせる界面操作の能力が、プレビューから本番で使える正式なツールになったことになる。Computer Use は 2026 年 6 月 24 日に公開プレビューとして初めて登場し、その時点でブラウザ、モバイル、デスクトップの三つの環境に加え、意図の説明、設定可能な安全ポリシー、プロンプトインジェクション検出をすでに備えていた。
Computer Use の動作は循環だ。開発者はまずユーザーからの指示、設定、現在の画面のスクリーンショットをモデルに送り、モデルは画像を見たうえで、クリック、スクロール、キー入力といった界面の動作を返す。その際、その手順の意図の説明と安全判定も一緒に返す。安全判定は三段階で、実行可能、ユーザー確認が必要、実行を阻止だ。開発者側のクライアントプログラムが許可された動作を実行し、新しいスクリーンショットを撮ってモデルに送り返す。この循環は、タスクが完了するか停止するまで繰り返される。モデル自身が担うのは見ることと判断することだけで、実際に手を動かすのは開発者側の実行環境であり、公式ドキュメントはエージェントをサンドボックス化された仮想マシンやコンテナの中で動かすことを求め、出発点として Docker ベースの参照実装を提供している。ドキュメントが挙げる典型的な用途は、繰り返しのデータ入力とフォーム記入、ウェブアプリケーションの自動テスト、ウェブサイトを横断した商品情報、価格、レビューの収集だ。
一般提供はそのまま使えることを意味しない
一般提供が解決するのはインターフェースの安定性の問題であり、最も厄介な実行と安全という二つの課題ではない。開発者は依然として、スクリーンショット、座標換算、動作実行を担うクライアントを自前で作り、ログイン、認証画像、エラーページに対応し、どの動作をまず人の確認に回すかを決めなければならない。プロンプトインジェクション検出は意識的に有効化する必要があり、画面を走査して隠された敵対的な指示を探すが、ドキュメントはすべての注入を防げるとは約束していない。ユーザーにとって変化が現れるのは主に供給側だ。今後は、あなたの代わりにパソコンを操作して予約、記入、価格比較をするとうたうアプリが増える。判断基準は、モデルが画面を読み取れるかどうかではなく、あなたのアカウントを操作する前に立ち止まって尋ねるかどうか、操作の記録を後から確認できるかどうかになる。今回の更新では変更履歴に新たな価格やベンチマークの結果は示されなかったため、開発者は移行の前に、一般提供という言葉だけを頼りにするのではなく、自分のタスクで成功率とタスク当たりのコストを実測する必要がある。
