Vercel Labs在10月31日推出开源工具agent-desktop，让编程智能体直接操作macOS、Windows与Linux上的桌面应用。它不靠截图猜坐标，而是读取操作系统提供的无障碍树，把界面结构变成智能体可以直接引用的数据。这一步把“电脑操作”从视觉猜测换成了结构化读取，操作对象从像素点变成了有编号的界面元素。
agent-desktop本身不是智能体，也不内置模型。它是一个用Rust编写的命令行工具和C语言库，供任何能运行终端命令的智能体调用；每次命令返回一个JSON快照，界面上每个可操作元素都有一个引用编号，智能体按编号行动，再重新读取界面确认结果。项目采用Apache-2.0许可证，最新版本1.0.2已于10月30日发布。官方仓库位于GitHub，组织名为Vercel Labs，项目名为agent-desktop。
不看截图，凭什么更稳？
截图方案要模型先看图、再估算按钮位置，界面一变就容易点错。无障碍树直接给出按钮、输入框与菜单的角色和名称，引用编号与某次快照绑定；界面变化后，旧编号会返回过期引用错误，智能体必须重新读取，而不是硬着头皮点下去。默认情况下操作在后台完成，不移动鼠标、不抢夺焦点，用户可以继续工作。界面树过于庞大时，项目提供只显示容器结构的骨架模式，让智能体逐区展开，而不是一次吞下数千个节点。
哪些应用它还够不着？
- 没有暴露无障碍树的应用不在覆盖范围内，例如部分画布型界面与游戏式界面，视觉方案在那里仍有价值。
- 网页自动化仍归agent-browser负责，agent-desktop只处理桌面应用；它可以为Chromium或Electron应用打开调试端口，再由agent-browser接手网页部分。
- 自动化质量取决于每个应用的界面实现，同一个工具在不同应用上的表现可能差别很大，发布当天的演示不能当成通用结论。
对开发者来说，agent-desktop的价值不在“又一个智能体”，而在把桌面操作变成可调用、可重试的基础设施。先在小范围里验证它能稳定读懂目标应用，再决定是否放进日常工作流。下一步值得看的，是它在真实办公应用里的稳定性记录，而不是发布当天的关注度。
