用本地模型驱动电脑操作

前六篇的脑子一直在云上:你用的编程助手连着云端的大模型,Agent 只是它伸出来的手,浏览器、桌面、手机都由那只手去点。这一篇换个方向:脑子能不能搬回本地,用自己电脑上跑的模型来驱动同一套手?

先说结论:能换,但换的是脑子,不是手。手不用重学,脑子要降级使用。 本地模型便宜、私密、离线也能跑,代价是脑子变小了:推理变弱、叫工具时常出错、长任务容易走偏。所以这一篇不是教你“从此告别云端”,而是教你怎么把脑子换成本地模型、怎么判断它够不够用,以及什么时候该换回云端。

先说一句贯穿全系列的话:只在备用机或小号上练。 换脑子的时候,错只会更多不会更少,更别拿主力机、主账号练手。

一、本地模型到底是哪三件东西

“本地模型”听起来像一个东西,实际是三件拼起来的:

  • 运行器: 负责把模型下载下来、装进内存、对外提供接口。最顺手的是 Ollama,终端里一行命令就能跑;想要图形界面的话,用 LM Studio,点几下就能下载模型、开本地服务。两个都是免费的,跑的也是同一批开源模型,差别主要是界面,不是能力。
  • 模型: 真正干活的脑子。开源模型按大小分档:3B 左右的小模型几 GB 就能跑,7B 的中等模型是练手的起点,14B 要 16GB 以上的内存,70B 那个档位普通笔记本就别想了。模型越大一般越聪明,但也越慢、越占内存。
  • 接口: 脑子和手之间的那根线。Ollama 默认在 http://localhost:11434 提供接口,还兼容 OpenAI 的接口格式;LM Studio 默认在 http://localhost:1234/v1 提供 OpenAI 兼容接口,另外还提供 Anthropic 兼容的 /v1/messages 接口。兼容的意思是:原来接云端接口的工具,改一行地址就能接到本地模型上,不用重写。

三件东西拼起来,本地脑子的样子就清楚了:模型在你电脑上跑,工具通过本地地址去问它,它回答了,工具再把命令发给手。 屏幕截图、你打的字、要办的事,全程不出这台电脑。

二、为什么前六篇的手,本地脑子接得上

这里有一个前六篇埋下的伏笔:第二篇的浏览器手、第三篇的桌面手,读的都不是截图,而是文字。

  • 浏览器手跑快照,拿到的是网页的文字结构:哪个是链接、哪个是输入框、上面写着什么字。
  • 桌面手跑快照,拿到的是操作系统的无障碍树,也是文字:一行 JSON,里面写着每个元素的编号和名字。

文字对本地模型是好消息:读文字、决定“点几号、输什么”,只需要一个会文字、会叫工具的模型,不需要它会看图。 一个 7B 的文字模型,比如 Qwen2.5,就能试着干这个活。纯看截图才需要视觉模型,而前六篇的手本来就不是靠看图干活的。

反过来也要说清楚:本地脑子接得上,不等于接得好。云端大模型一次能看很长的快照、能稳稳地叫对工具,小模型容易在两件事上翻车:一是快照太长,它读到后面忘了前面;二是工具叫错了,本来该点 12 号,它点了 21 号。所以换脑子的第一天,别指望它直接跑跨应用的长任务,先从一步的活练起。

三、第一条路:只换脑子,不换手

最省事的换法,是手一点不动,只把脑子从云端换成本地。练手就用 Ollama,步骤只有四步:

  1. 装 Ollama,从官网下载安装,macOS 上拖进应用程序就能用。装完在终端跑 ollama --version,能打出版本号就说明装好了。
  2. 拉一个模型,先拉小的练手:ollama pull qwen2.5vl:3b,只有 3.2GB 左右。想直接上 7B 的话,拉 ollama pull qwen2.5vl:7b,下载约 6GB。拉完跑 ollama list,能看到它就说明下好了。
  3. 先让它看一张图,确认眼睛能用:ollama run qwen2.5vl:3b "这张图里有什么",把一张截图的路径写进这句话里。它能说出图里的大概内容,眼睛这一步就算通了。说得不准不要紧,这一步只确认它能看图,不是确认它能干活。
  4. 确认本地接口在听:curl http://localhost:11434/v1/models,能列出模型名字,接口就是通的。接下来就是把你用的编程助手指向这个本地地址,让它用本地模型当脑子,再跑一遍第二篇练过的搜索——同一套手、同一个循环,只是脑子换了地方。

这四步里,第 4 步要留一句话的余地:不同编程助手接本地接口的办法不一样,有的有现成的设置项,有的要改环境变量。 LM Studio 的文档写明了,Claude Code 可以通过把 ANTHROPIC_BASE_URL 设成 http://localhost:1234 来接本地模型;Ollama 那边则是把地址指向 http://localhost:11434/v1。具体到你用的那一款,照它的文档改,改完先跑一步最小的活,别直接上长任务。

如果第 4 步接不上,别硬接:先停在第 3 步,本地模型能看图、能聊天,脑子就已经在本地跑起来了;接工具是下一步的事,不是今天必须过关的事。

四、第二条路:换一双看图的眼睛

第一条路换脑子不换手,还有第二条路:手也换掉,换成一双直接看屏幕的眼睛。这条路的主角是 UI-TARS,字节跳动开源的一套电脑操作 Agent。

  • 它不读网页结构,也不读无障碍树,只看截图:截一张屏,看图里有什么,算出要点哪里,再动手,动完再截一张确认。
  • 模型分 2B、7B、72B 三档。7B 是本地部署的甜点:OSWorld 评测里能拿到 18.8%,比 GPT-4o 的 12.2% 还高;72B 能到 24.6%,但要多卡或者云端推理,普通电脑跑不动。
  • 7B 本地跑的条件,写的是需要 16GB 以上的显存。PC 上这就是一块高端显卡的事;Mac 上没有独立显存,显存和内存是同一池子,7B 的下载约 6GB,加上上下文和系统占用的内存,够不够用要看你这台机器的内存有多大。

第二条路的好处是通用:没有接口的软件、老旧的桌面程序,只要能在屏幕上看见,它就能试着点。代价是要求高、速度慢、看图定位的错比读文字的手更多。第一条路是“脑子搬回家”,第二条路是“眼睛也换了”,先走第一条路,第二条路当作下一步的备选。

五、你的电脑跑得动多大的脑子

本地模型最大的限制不是技术,是内存。MacBook Air 是苹果芯片,内存是统一内存:CPU 和 GPU 共用一池子,没有独立的显存。所以“需要多少显存”这句话,在 Mac 上要翻译成“需要多少统一内存”。

  • 1B 到 3B 的小模型,约 1 到 2GB,任何一台苹果芯片的 Mac 都能跑,速度也最快。
  • 7B 到 8B 的模型,4 位量化后约 4 到 5GB,8GB 以上内存的机器跑起来比较舒服。
  • 14B 的模型约 9GB,要 16GB 以上的内存才从容。
  • 70B 的模型要 40GB 以上,普通笔记本不用想。

这里还有一个容易忽略的数:模型本身只占一部分内存,上下文、浏览器、编辑器、系统自己都要内存。所以选模型的时候别卡着内存上限选,先从 3B 练起,跑顺了再试 7B;7B 卡了就退回 3B,别硬上 14B。 模型下载之前,Ollama 会先告诉你它有多大,下载多大、跑起来大概占多少,心里先有个数再拉。

另外,本地模型跑在你电脑上,速度跟着内存带宽走:模型越小,每生成一个字要读的数据越少,回答就越快。觉得慢的时候,先换小模型,别先怪电脑。

六、本地脑子强在哪,弱在哪

换脑子之前,先把账算清楚,免得换完才发现不是自己要的东西。

  1. 强在私密。 提示词、截图、文件内容都不出这台电脑。不用注册、不用传 Key、不用担心哪句话被记到别人的服务器上。练手的东西本来就该留在本地,这一条是本地模型最大的道理。
  2. 强在不花钱。 没有按量计费,跑一万次和跑一次花的钱一样。练手最怕的就是“每错一次扣一次钱”,本地没有这笔账,错得起,也就敢多练几次。
  3. 强在离线。 断网也能跑。云端断了就停工,本地的脑子只要电脑开着就在。
  4. 弱在脑子小。 7B 的模型在硬推理、长文档、复杂规划上追不上云端大模型。任务一长,它就容易忘事、走偏、叫错工具。办法是把任务切小:一次只让它做一步,做完人看一眼,再做下一步。
  5. 弱在不稳定。 同一个任务,云端大模型十次能成九次,本地小模型可能十次只成六次。别拿它去跑“必须一次成”的活,拿它跑“错了能重来”的练习。
  6. 弱在配置多。 云端是开箱即用,本地要自己装运行器、拉模型、开接口、指地址。每多一步配置,就多一个能卡住的地方。卡住了先看报错,别急着换模型,多数时候是地址和端口的问题。

这六条合起来就是一句话:本地脑子适合练手,不适合托付。 练手要的是便宜、私密、随时能重来,这三样本地都给;托付要的是稳、准、一次成,这三样还是云端的强项。

七、安全提示:本地不等于安全

“数据不出电脑”很容易让人放松警惕,但本地脑子的安全规矩,一条都不能少:

  1. 第六篇的护栏照样适用。 两条红线、动手前六问、动手时三条、收尾四件事,换了脑子也不变。本地模型也会点错、发错、删错,不可逆的事照样要你点头。
  2. 本地接口别对外开。 Ollama 和 LM Studio 默认只监听本机,这是对的,别为了方便改成对所有网卡监听,更别把 11434 或者 1234 端口转发到公网。接口一旦对外,任何人都能拿你的电脑当免费模型用。
  3. 模型从哪来,要看一眼。 只从 Ollama、LM Studio 自带的模型库里拉模型,别从不明链接下载权重文件。模型文件也是别人写的代码,来源不明的别往电脑上装。
  4. 本地模型也会“自信地答错”。 它看图认错字、数错数的时候,语气照样很肯定。看图的结果,人要再看一眼再往下传,别把它的话直接写进交接单。

本地换脑子,换的是成本和隐私,不是责任。责任还在你手里,护栏也还在。

练一次:让本地脑子看一次图,再动一次手

不用准备什么,二十分钟就够,全程只碰终端和浏览器:

  1. 装好 Ollama,拉一个小模型:ollama pull qwen2.5vl:3b,再跑 ollama list 确认它在列表里。
  2. 截一张浏览器的图,存在桌面上。跑 ollama run qwen2.5vl:3b "这张图里有什么",把图路径写进这句话里,看它说得对不对。说错了也没关系,记下来它错在哪——这是你第一次亲眼看到本地脑子的真实水平。
  3. 跑 curl http://localhost:11434/v1/models,确认本地接口在听,能列出模型名字。
  4. 把编程助手指向本地地址,跑一遍第二篇练过的搜索:查一个词,比如“胡巴”,跑快照确认结果页出来了。只跑这一步,跑完就停,问自己三个问题:它叫对工具了吗?它点对编号了吗?它花的时间你能接受吗?
  5. 收尾:关掉浏览器会话,本地模型不用关,下次还能用。问自己最后一句:这一步本地脑子做得怎么样——够练手吗?不够的话,差在哪一步?

走完这五步,本地模型这一步就算练成了。下一篇文章,我们把前七篇拼起来:搭一个每天能用的个人电脑助手,脑子用云端还是本地,由你自己定。