agent-desktop

简介

agent-desktop 是 Vercel Labs 开源的桌面自动化工具，给 AI 智能体做「电脑操作」（computer use）用。它读取桌面应用通过操作系统无障碍接口公开的界面树（macOS、Windows 的系统无障碍接口，Linux 为 AT-SPI），把每个可操作元素编成一个引用，以 JSON 返回；智能体对引用执行点击、输入、选择等操作后，再读取一次界面核对结果，不靠截图和像素匹配。官方强调它只是供智能体调用的工具：内部不带大模型、没有图形界面和交互提示，每条命令输出一个 JSON 后就退出；只管桌面应用，网页自动化交给同门的 agent-browser（站内已收录），对 Chromium / Electron 应用会开出 DevTools 端口给 agent-browser 连接；看不到不公开无障碍树的界面。工具共 60 个命令名，其中 56 个可用，覆盖观察、按引用操作、键盘鼠标、应用和窗口、通知、剪贴板、等待、会话等；默认无头运行，不移动鼠标也不抢焦点。macOS 需授予辅助功能权限，Linux 需要图形会话和 at-spi2-core。安装：npm install -g agent-desktop，然后运行 agent-desktop status 检查权限。项目用 Rust 编写（Cargo 工程），同时提供 CLI 和 C 库，Apache-2.0 许可。v1.0.0 于 2026 年 10 月 28 日发布，10 月 30 日仓库迁入 vercel-labs 组织（v1.0.2），并上线文档站 agent-browser.dev/desktop。官方提醒：快照、剪贴板、截图等输出可能含桌面上的隐私内容，不要放进公开日志。官方来源：https://agent-browser.dev/desktop 、https://github.com/vercel-labs/agent-desktop 、https://github.com/vercel-labs/agent-desktop/releases （2026-10-31 核对）。 定价：开源免费（Apache-2.0）。

• 读取桌面应用的系统无障碍树（macOS、Windows 系统无障碍接口，Linux 用 AT-SPI），每个可操作元素都带一个引用（ref），以 JSON 返回
• 「观察 → 操作 → 再观察核对」循环snapshot 拿引用，click / type / set-value 等操作引用，再 snapshot 或 wait 验证结果，不做像素匹配
• 60 个命令名（56 个可用）窗口与应用管理、键盘鼠标、滚动、通知、剪贴板、等待、批处理、会话与 trace
• 默认无头通过无障碍接口操作，不移动鼠标、不抢焦点；需要真实输入时加 --headed
• 自带给智能体读的说明agent-desktop skills get desktop；可用 npx skills 安装到 Claude Code 等智能体
• CLI + C 库，npm 一条命令安装，含 x64 / ARM64 原生二进制；可与 agent-browser 配合操作 Chromium / Electron 应用内的网页

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。