Vercel Labs는 10월 31일 오픈소스 도구 agent-desktop를 공개했다. 코딩 에이전트가 macOS, Windows, Linux의 데스크톱 애플리케이션을 직접 조작할 수 있게 한다. 스크린샷에서 좌표를 추측하는 대신 운영체제가 제공하는 접근성 트리를 읽어 인터페이스 구조를 에이전트가 직접 참조할 수 있는 데이터로 바꾼다. 이로써 컴퓨터 사용은 시각적 추측에서 구조화된 읽기로 바뀌고, 조작 대상은 픽셀에서 번호가 매겨진 인터페이스 요소가 된다.
agent-desktop 자체는 에이전트가 아니며 모델을 내장하지도 않았다. Rust로 작성된 명령줄 도구이자 C 라이브러리로, 터미널 명령을 실행할 수 있는 모든 에이전트가 호출할 수 있다. 명령을 실행할 때마다 JSON 스냅샷이 반환되고, 화면의 모든 조작 가능한 요소에는 참조 번호가 부여된다. 에이전트는 번호로 동작한 뒤 인터페이스를 다시 읽어 결과를 확인한다. 프로젝트는 Apache-2.0 라이선스를 사용하며, 최신 버전 1.0.2는 10월 30일에 공개됐다. 공식 저장소는 GitHub에 있으며, 조직 이름은 Vercel Labs, 프로젝트 이름은 agent-desktop이다.
스크린샷을 보지 않는데 왜 더 안정적인가?
스크린샷 방식은 모델이 먼저 이미지를 보고 버튼 위치를 추정해야 하므로, 인터페이스가 바뀌면 잘못 클릭하기 쉽다. 접근성 트리는 버튼, 입력 필드, 메뉴의 역할과 이름을 직접 알려주며, 참조 번호는 해당 스냅샷에 묶인다. 인터페이스가 바뀌면 오래된 번호는 만료된 참조 오류를 반환하므로, 에이전트는 무리하게 클릭을 이어가는 대신 다시 읽어야 한다. 기본적으로 작업은 백그라운드에서 수행돼 마우스를 움직이지 않고 포커스를 빼앗지 않으므로 사용자는 작업을 계속할 수 있다. 인터페이스 트리가 지나치게 커지면 컨테이너 구조만 보여주는 스켈레톤 모드를 제공해, 에이전트가 수천 개의 노드를 한 번에 삼키는 대신 영역별로 펼쳐볼 수 있다.
어떤 앱에는 아직 닿지 않는가?
- 접근성 트리를 노출하지 않는 애플리케이션은 적용 범위를 벗어나며, 일부 캔버스형 인터페이스나 게임형 인터페이스에서는 시각적 방식이 여전히 가치가 있다.
- 웹 자동화는 여전히 agent-browser의 역할이며, agent-desktop는 데스크톱 애플리케이션만 다룬다. Chromium이나 Electron 애플리케이션을 위한 디버깅 포트를 열어 웹 부분은 agent-browser가 이어받을 수 있다.
- 자동화 품질은 각 애플리케이션의 인터페이스 구현에 따라 달라지므로, 같은 도구라도 애플리케이션마다 성능이 크게 다를 수 있다. 공개 당일의 시연을 일반적인 결론으로 받아들여서는 안 된다.
개발자에게 agent-desktop의 가치는 또 하나의 에이전트에 있는 것이 아니라, 데스크톱 조작을 호출하고 재시도할 수 있는 인프라로 바꾸는 데 있다. 먼저 작은 범위에서 대상 애플리케이션을 안정적으로 읽을 수 있는지 검증한 뒤 일상 워크플로에 포함할지 결정해야 한다. 다음에 주목할 것은 공개 당일의 관심도가 아니라 실제 오피스 애플리케이션에서의 안정성 기록이다.
