电脑操作 Agent 是什么
上一个系列讲的是怎么让 Agent 把一套做法学会，这一篇系列换一个方向：让 Agent 的手伸进电脑里，替你把屏幕上的事直接办完。
先说一个你一定有过的念头。对着聊天助手说“帮我把这张表填好交上去”，它会给你列出五个步骤，写得清清楚楚，然后停在那里——填表、点提交，还是得你自己来。不是它不愿意，是它没有手，只能回文字。电脑操作 Agent 要解决的，就是这个问题。
用一句话说：电脑操作 Agent 是能看屏幕、点鼠标、敲键盘的 Agent，它不只告诉你怎么做，而是直接把事办完，再把结果交回来。
一、它和聊天助手根本不是一种东西
差别不在模型多聪明，而在输出的东西不一样：
- 聊天助手输出的是文字。 你问什么，它答什么，答完就结束。事情办没办成，要你自己动手验证。
- 电脑操作 Agent 输出的是动作。 它看一眼屏幕，决定下一步点哪里、输什么，执行完再看一眼屏幕确认结果，然后接着走下一步，直到事情办完或者卡住停下来。
它的工作方式是一个循环：看→想→动→再看。看是读屏幕，想是决定下一步，动是点鼠标或敲键盘，再看是确认刚才那一下有没有生效。这个循环每转一圈，都要重新确认一次，因为屏幕上的东西会变：弹窗会跳出来，页面会没加载完，按钮会换位置。
所以别把它当成“会打字的聊天助手”。聊天助手错了，最多回你一句错话；电脑操作 Agent 错了，可能点错一个按钮、发出一条不该发的消息。后面有一整篇讲安全护栏，原因就在这里：手伸进电脑里，规矩要先立好。
二、两条技术路线：看图点坐标，还是读树点元素
现在主流的电脑操作 Agent，走的是两条不同的技术路线。理解这两条路线，后面选工具才不会晕：
- 截屏加视觉定位。 Agent 拿到一张屏幕截图，靠视觉模型自己判断按钮在哪个像素位置，然后发鼠标点击。好处是通用，什么软件都能操作，因为所有软件都会画到屏幕上；坏处是容易点偏，按钮一挪位置、窗口一缩放，坐标就失效了。
- 无障碍树加元素引用。 操作系统本来就给每个界面元素准备了一份结构化的清单，叫无障碍树，里面写着每个按钮、输入框是什么、在哪里。Agent 直接读这份清单，按元素的名字或编号操作，不用猜坐标。好处是点得准、还省 token；坏处是看不见清单的应用就操作不了，比如有些自绘界面的软件。
简单记：截屏路线什么都能碰，但手有点抖；无障碍树路线手很稳，但只碰得到系统认得的元素。 很多工具其实是两条路线混着用，能读树的地方读树，读不到的地方再看图补位。
三、四位代表选手，各自站在哪条路线上
不用记太多工具，先认清四个有代表性的：
- Claude Computer Use（Anthropic）。 截屏路线的起点。2024 年 10 月 22 日，Anthropic 随 Claude 3.5 Sonnet 一起发布了公开测试，Agent 看截图、算像素坐标、发鼠标键盘动作。Anthropic 自己公布的数据是，它在 OSWorld 这套真实桌面任务测试里只拿到 14.9%，同时也明说这还是实验性质，有时会出错。运行环境要你自己准备，官方给了一个 Docker 参考实现。
- OpenAI Operator。 截屏路线的另一个代表。2025 年 1 月 23 日上线，最初只对 ChatGPT Pro 用户开放，背后的模型叫 CUA，是在 GPT-4o 的视觉能力上专门为操作界面做了强化学习。它跑在云端的沙箱浏览器里，只能在浏览器里活动，出不了浏览器；遇到登录、付款这类敏感步骤会停下来问你。2025 年 7 月，独立的 Operator 产品并入了 ChatGPT 的 agent 功能，独立站点随之关闭，所以现在再去找 operator.chatgpt.com 是打不开的。
- agent-browser（Vercel Labs）。 无障碍树路线的代表。开源免费、Apache-2.0 协议，是一个用 Rust 写的命令行工具，装一次就能用。它打开一个真浏览器，读页面的无障碍树快照，每个元素带一个
@e1这样的引用，Agent 按引用点、按引用输，操作完再读一次快照确认。Claude Code、Codex、Cursor 这些编程助手都能直接调它。 - agent-desktop（Vercel Labs）。 和上面是同一家出的姊妹工具，管的是桌面应用而不是浏览器。它读操作系统的无障碍树，返回 JSON，元素同样带引用，支持 macOS、Windows 和 Linux。要注意：它本身不是 Agent，也没有内置模型，它只是一双“手”，脑子还是你用的那个编程助手。
这四个认清了，后面的篇章就顺了：第二篇先练浏览器，用的就是 agent-browser；第三篇再练桌面，用的就是 agent-desktop。
四、它能干什么，不能干什么
先说能干的，都是重复性高、步骤固定的事：
- 浏览器里的重复操作。 查资料、填表、下载文件、按固定流程逛几个页面，这些是它最稳的活。
- 跨应用搬运。 从一个应用里读出东西，填到另一个应用里，比如把表格里的数据贴进邮件。
- 照着清单检查。 按你给的步骤逐项核对，逐项截图或记录，交回一张结果表。
再说干不了的，先把期望放对地方：
- 验证码和人脸验证。 这些本来就是用来挡机器的，Agent 过不去，也别想办法绕。
- 登录和付款。 正经的工具都会在这些地方停下来，交给你自己输密码、自己点确认。凡是不停下来、直接替你付钱的工具，先怀疑它的安全。
- 需要判断的事。 比如“这封邮件回不回”“这笔钱花不花”，Agent 可以把材料摆好，但决定得你来下。
- 没有无障碍树的应用。 走无障碍树路线的工具，看不见这类应用的界面，只能换截屏路线，或者干脆别用 Agent 操作它。
五、安全提示：先在备用机或小号上练
这一段请认真读，比前面所有内容都重要。
电脑操作 Agent 的手是真的手，点错了是真的会发出消息、删掉文件、提交订单。所以第一次上手，不要在你每天用的主力电脑、主力账号上练：
- 先在备用机或小号上练。 没有备用机，就用虚拟机，或者至少换一个不装重要资料的小号。练熟了再上主力环境。
- 先开只读模式。 能只看不点的工具，先只看不点；先把“它能不能找对按钮”练稳，再放开“点下去”的权限。
- 敏感操作必须人点头。 登录、付款、发消息、删东西，这四类事，永远不要让 Agent 自己决定。工具停下来问你的时候，别嫌烦，那是它在保护你。
- 屏幕上的东西也可能有毒。 网页和图片里可能藏着写给 AI 的隐藏指令，Agent 一不留神就会照着做。Anthropic 在 Computer Use 的文档里专门提醒过这一点：不要让 Agent 在装了重要账号的机器上，打开来路不明的内容。
这四条不是吓唬人，是这个系列的底线。后面每一篇的动手环节，都会默认你已经在备用环境里练。
练一次：分清你手边的一件事归谁管
不用装任何工具，十分钟就够：
- 挑一件你每周都要在电脑上重复做的事，比如查某个数据、填一张固定表格。
- 问自己：这件事是“只用回答”就能解决，还是“必须动手点几下”才能完成？前者交给聊天助手，后者才是电脑操作 Agent 的活。
- 再问一句：这件事里有没有登录、付款、发消息、删东西？有的话，标出来——这些步骤以后必须留给人点头，Agent 再能干也不包办。
写完这三条，你就已经会判断一件事该不该交给电脑操作 Agent 了。下一篇文章，我们就真正动手：先让 Agent 操作浏览器，从最安全的一步开始。
[END EXTERNAL CONTENT: source=file file=~/workspace/projects/hugo_blog/content/posts/2026-11-10-computer-use-introduction.md tool_name=read]
