本地和云端到底差在哪

同一个问题,你可以问云端的订阅,也可以问自己电脑里的模型。答案可能差不多,但背后的账完全不一样。这一篇先不装东西,把账算清:本地不是用来替代云端旗舰模型的,是用来接住那 80% 的简单活,难的再走云端。 这个分工想明白了,后面七篇的每一步才知道为什么。

如果你跟过电脑操作系列第 7 篇,已经在 Mac 上跑过 Ollama,那这一篇没有新的安装步骤,只讲怎么选边。第 7 篇是“跑起来”,这个系列是“每天用起来”。

一、先算四笔账

第一笔是钱。 云端按订阅或者按量计费,用多少算多少;本地是一次性硬件加电费,模型下载到手之后,每多问一次的边际成本几乎是零。量级可以这样估:以 2026 年的价格为例,云端旗舰模型每百万输入 token 大约 2.5 美元、每百万输出 token 大约 10 美元,价格会变,这里只算个量级。每天问几百次摘要、改写、分类,云端账单是持续往上走的;本地是一台 Mac 或者一块显卡一次性的钱。所以老手的做法不是二选一,而是分流:80% 的简单请求走本地,真正需要推理的再走云端。

第二笔是隐私。 本地模型的数据不出你的机器和内网,聊天记录、公司文档、个人笔记不用发给任何一家服务商。这是本地最大的硬优势,也是很多人转本地的真正原因。但要补一句:本地不等于不用看条款。 开源权重的许可证各不相同,有的可以商用,有的有限制,拿去干活之前先看一眼许可证,这一篇后面还会再提。

第三笔是离线。 本地模型断网也能用,飞机上、没信号的地方、公司内网不通外网的环境,照样跑。云端断网就是断手。这个差别平时感觉不到,关键时刻就是能不能干活的区别。

第四笔是质量,也是本地最老实的一笔。 小模型在长链推理和多步工具调用上明显弱于旗舰模型,复杂规划、长文推理、跨文件改代码,7B、14B 这个量级的本地模型还拼不过云端旗舰。别拿本地 7B 去拼旗舰,也别因为拼不过就说本地没用。 量体裁衣才是本地的正确用法。

二、什么活放本地,什么活留云端

判断标准只有一条:这件事难不难,需不需要长链推理。

放本地的活:摘要、分类、改写、翻译、抽取信息、简单问答、批量处理。这些活的特点是单次、短平快、错了也容易发现,本地小模型完全够用,而且量大之后省下的钱最实在。

留云端的活:复杂规划、多步推理、长文写作、跨文件改代码、需要最新知识的问题。这些活要的是脑子,不是手,云端旗舰模型仍然是更好的选择。

还有一类活要单独说:涉及隐私但又很难的。 比如要让模型读你的全部工作笔记再做判断,云端强但你不想发出去,本地弱但数据不出门。这种时候别硬选一边,折中办法是拆开做:本地模型先做检索和摘要,把敏感内容缩成脱敏的要点,再把要点发给云端做判断。具体做法在第六篇 RAG 那里会展开。

三、动手前先问自己三个问题

第一,你的机器够吗。 Mac 看统一内存,显卡看显存,大致的速查表是这样的:3B 模型大约占 1 到 2GB,7B 大约 4 到 5GB,14B 大约 9GB,70B 就别想了,普通 Mac 和消费级显卡都够不着。这个表是按 4-bit 量化估的,量化是什么意思、怎么选,第四篇会细讲。你现在不用记数字,只要记住结论:大部分 Mac 都能跑 3B 和 7B,14B 要看内存大小。

第二,你的活有多难。 把你每天问 AI 的问题列出来,数一数有多少是摘要改写这类简单活。如果一半以上都是,那本地就值得搭;如果每天问的都是复杂推理,那本地只能当备胎,云端还是主力。

第三,你愿意折腾吗。 本地模型没有“充钱即用”那么顺手,装模型、调参数、排错都要自己来。这个系列会把每一步写清楚,但动手的人还是你。如果你只想省事,云端订阅就是答案,不用勉强。

练习:20 分钟,先列清单再动手

  1. 列出你每天问 AI 的 10 个问题,一个一个标上“本地够”还是“得云端”,数一数比例。
  2. 按第一笔账的方法估一下:如果这些问题全走云端按量计费,一个月大概是多少;如果走本地,一次性的硬件投入是多少。数字不用精确,量级对了就行。
  3. 看一眼你的 Mac 是多少内存,对照上面的速查表,写下来你能跑的最大模型是多大。

这三件事做完,你就知道自己要不要继续往下学,下一篇文章再装 Ollama 也不迟。

安全提示

这个系列每篇都会有一条安全提示,这一篇是两条:第一,本地模型的服务端口不要暴露到公网。 Ollama 默认只听本地,但一改配置就可能对外,端口一旦裸露,任何人都能免费用你的模型,还能看到你的请求记录。第二,商用之前先看模型许可证。 开源权重不等于随便用,有的许可证限制商用,有的限制再分发,拿去干活之前花五分钟看一眼。