Google은 2026년 10월 30일에 업데이트한 Gemini API 변경 기록에서 Computer Use 도구가 정식 제공 단계에 들어섰고, Interactions API와 GenerateContent API 두 인터페이스를 모두 대상으로 한다고 발표했다. 모델이 화면 스크린샷을 보고 직접 클릭하고 입력하게 하는 화면 조작 능력이 미리 보기에서 실제 운영에 쓸 수 있는 정식 도구로 바뀌었다는 뜻이다. Computer Use는 2026년 6월 24일에 공개 미리 보기로 처음 등장했고, 그때 이미 브라우저와 모바일, 데스크톱 세 가지 환경과 의도 설명, 설정 가능한 안전 정책, 프롬프트 인젝션 탐지를 갖추고 있었다.
Computer Use의 동작 방식은 반복 구조다. 개발자는 먼저 사용자의 지시와 설정, 현재 화면의 스크린샷을 모델에 보내고, 모델은 이미지를 본 뒤 클릭이나 스크롤, 키 입력 같은 화면 동작을 돌려준다. 이때 그 단계의 의도 설명과 안전 판단도 함께 보낸다. 안전 판단은 세 단계로, 실행 가능, 사용자 확인 필요, 실행 차단이다. 개발자 쪽 클라이언트 프로그램이 허용된 동작을 실행하고 새 스크린샷을 찍어 모델에 다시 보내며, 이 반복은 작업이 끝나거나 중단될 때까지 계속된다. 모델 자체가 맡는 일은 보고 판단하는 것뿐이고, 실제로 손을 움직이는 것은 개발자 쪽 실행 환경이며, 공식 문서는 에이전트를 샌드박스 가상 머신이나 컨테이너 안에서 실행할 것을 요구하고, 출발점으로 도커 기반 참조 구현을 제공한다. 문서가 드는 대표적인 용도는 반복적인 데이터 입력과 양식 작성, 웹 애플리케이션 자동 테스트, 여러 웹사이트에 걸친 상품 정보와 가격, 후기 수집이다.
정식 제공이 곧바로 쓸 수 있다는 뜻은 아니다
정식 제공이 해결하는 것은 인터페이스 안정성 문제이지, 가장 까다로운 실행과 안전이라는 두 가지 과제가 아니다. 개발자는 여전히 스크린샷과 좌표 변환, 동작 실행을 맡는 클라이언트를 직접 만들고, 로그인과 인증 이미지, 오류 페이지에 대응하며, 어떤 동작을 먼저 사람의 확인을 거치게 할지 정해야 한다. 프롬프트 인젝션 탐지는 의도적으로 켜야 하며, 화면을 훑어 숨겨진 적대적 지시를 찾지만, 문서는 모든 주입을 막을 수 있다고 약속하지 않는다. 사용자에게 변화가 나타나는 것은 주로 공급 쪽이다. 앞으로는 당신을 대신해 컴퓨터를 조작해 예약과 작성, 가격 비교를 해준다고 내세우는 앱이 늘어날 것이다. 판단 기준은 모델이 화면을 읽을 수 있느냐가 아니라, 당신 계정을 조작하기 전에 멈춰서 물어보는지, 조작 기록을 나중에 확인할 수 있는지다. 이번 업데이트에서는 변경 기록에 새로운 가격이나 성능 측정 결과가 제시되지 않았으므로, 개발자는 이전하기 전에 정식 제공이라는 말만 믿지 말고 자기 작업으로 성공률과 작업당 비용을 직접 측정해야 한다.
