搭一套每天能用的本地工作流
前七篇的零件都齐了:Ollama 是常驻服务(第 2 篇),模型按内存挑(第 3 篇)、按量化算账(第 4 篇),接进了每天用的编程工具(第 5 篇),接上了自己的资料(第 6 篇),人多的时候还能搬上 vLLM 服务器(第 7 篇)。这一篇不讲新工具,只做一件事:把这些零件排成一套每天固定走的流程,早上开机就能用,晚上收尾不留尾巴。流程定下来,本地模型才从“装好了”变成“每天在用”。
一、先定三条分工:什么走本地,什么走云端
流程的第一步不是装东西,是定规矩——哪类事交给本地模型,哪类事还得回云端。按第 1 篇的判断来,分三档:
- 走本地:日常问答、改代码、查自己的资料、写草稿。这些事本地小模型够用,好处是私密(资料不出你的电脑)、免费(不按 token 计费)、离线也能用。每天的大头都在这一档。
- 走云端:本地模型明显答不上来的硬活——比如特别长的推理、特别刁钻的调试、需要最新知识的问题。遇到这一档别硬撑,换云端的大模型,这不是本地流程失败,是分工本来就这么定的。
- 先本地、再云端:拿不准的事,先让本地模型给一版,再把这一版贴给云端模型复核。本地那版当草稿,云端那版当终审,两个都用上,比只用一个稳。
定下来就写在纸上贴在显示器边上,纠结的时候看一眼就行:私密、日常、离线走本地;硬活、长推理、要最新知识走云端。流程跑顺了,云端那档会越来越少,但不用刻意清零。
二、早上三分钟:开机检查
每天第一次用之前,先花三分钟确认服务是活的,别等到要用的时候才发现昨天关掉了:
- 看 Ollama 在不在:终端里跑
ollama list,能列出模型就说明服务在;再跑curl http://localhost:11434,有响应就说明接口在听。哪个没响应就先ollama serve起一下,别往下走。 - 看昨天留下的模型还在不在内存里:Ollama 默认 5 分钟不用就把模型从内存里卸掉(第 2 篇的
OLLAMA_KEEP_ALIVE),所以早上第一次问会慢一点——那是模型在重新加载,不是坏了。等它答完第一句,后面就快了。 - 看一眼磁盘:模型一个就几 GB,七八个攒下来几十 GB 很正常。磁盘快满了再清理,别等到下载新模型时才发现没地方了。
这三步走完,本地模型就是“待命”状态。检查本身不用记下来,养成习惯就行;哪天第一句问得特别慢,先想想是不是模型刚加载,而不是先怀疑配置坏了。
三、白天三条线:聊天、写代码、查资料
白天的工作只分三条线,每条线一个入口,别混着用:
- 聊天线——Open WebUI:日常问答、写草稿、翻前面的对话,都走 Open WebUI。模型选你按第 3 篇挑好的那一个,聊天/知识库的上下文按第 6 篇调到 8192 以上(64K 是第 5 篇给编程工具的,聊天这边不用硬上)。问之前先想一句:这个问题要不要挂知识库?要,就在聊天里打
#挂上(第 6 篇的做法);不要,就直接问,别什么都挂,挂多了回答反而变慢。 - 写代码线——Claude Code、Codex、OpenCode:改代码的时候别切回浏览器问,接着第 5 篇的接法走:Claude Code 记得四个环境变量里那个
CLAUDE_CODE_MAX_CONTEXT_TOKENS=65536,Codex 记得加--oss才是本地(不加还是云端),OpenCode 记得模型名要和ollama list一字不差。本地小模型调工具不如云端稳,所以规矩是:先让它改一小步,跑通了再改下一步,别一次甩过去一大段再慢慢找错。 - 查资料线——RAG 知识库:要找“你自己的资料里有没有”的时候,走第 6 篇那条路:Open WebUI 的知识库,或者 AnythingLLM。问的时候一个一个问,问完看一眼它引用的段落是不是你要的那份——引用对了再信答案,引用错了就换个问法,别直接抄答案走。
三条线共用一个脑子(同一个 Ollama 服务),只是入口不同。哪条线卡住了,先看是入口的问题还是模型的问题:换个入口能问通,就是入口配置的问题;换入口也答不上来,就是模型能力到了头,按第一节的分工换云端。
四、晚上五分钟:把今天收进知识库
本地模型越用越好用的秘密不在白天,在晚上这五分钟:今天新产生的东西,今天就收进知识库,明天问的时候它才找得到:
- 今天写了值得留的笔记、改了重要的配置、踩了新的坑,就加进知识库:Open WebUI 里在 Workspace → Knowledge 里加文件,AnythingLLM 里直接上传。一次加一两份,别攒一个月再一次性倒进去——攒多了自己都忘了哪份是哪份。
- 加完问一句验证:随手问一个只有今天这份资料里才有答案的问题,能答上来、引用也对,说明收进去了;答不上来就看看是不是文件格式或 embedding 模型没对上(第 6 篇的 nomic-embed-text、bge-m3、mxbai-embed-large 各管各的语言)。
- 不用每天都加:没产出新东西的日子,跳过这一步就行。知识库是越攒越有用的东西,但攒的前提是东西值得留,不是每天凑数。
晚上这五分钟还有一个附带的好处:你每天都知道自己今天到底用本地模型干了什么,流程有没有断在哪一步。断了三天以上,问题多半不在模型,在流程——入口太多、检查太烦,或者知识库太久没更新,修流程比换模型管用。
五、每周一次:更新、清理、核对
每天的流程之外,每周留一次十五分钟做维护,三件事:
- 更新模型:
ollama pull 模型名拉一下你常用的那一两个模型的新版本,拉之前先去模型库看一眼版本号和大小变了没有(第 3 篇的规矩:榜单只看带日期的)。不常用的模型不用每周都更,跟着用再说。 - 清理旧模型:
ollama list看一眼,超过一个月没问过的模型,ollama rm 模型名删掉,磁盘和选择困难一起清掉。删之前确认它不在任何工具的配置里写着——配置里写着的模型删了,工具启动会报错。 - 核对两处安全设置:一是 Ollama 的 11434 还在只听本机吧,vLLM 的 8000 是绑在 127.0.0.1 上,还是在你信任的网络后面(Tailscale、防火墙、反向代理)吧——vLLM 默认是 0.0.0.0,不加
--host 127.0.0.1就是对所有网卡开着的,别只看“服务在跑”就放心;二是这周新收进知识库的资料里有没有密码、密钥、身份证号这类东西,有就删掉。许可证那句每周不用重查,但新模型商用之前先确认许可证,这条不过期。
维护做完,顺手记一行:这周本地模型帮你干了什么、哪次换了云端。记上一个月,你就知道本地这套流程到底替你省了多少云端调用、哪些活它还干不了——下一轮升级模型、加显卡、还是维持现状,就有数了。
六、八篇一张表:这个系列到底讲了什么
收官了,把八篇收成一张表,以后翻系列只看这一节就行:
- 第 1 篇《本地和云端到底差在哪》:本地私密、免费、离线,云端更强、更新,日常走本地、硬活走云端。
- 第 2 篇《Ollama 一条命令跑起来》:Ollama 是常驻服务,模型 5 分钟不用就卸载,端口只听 127.0.0.1:11434。
- 第 3 篇《怎么挑模型》:先看内存,再看任务,最后才看榜单;中文日常用 Qwen,照国外教程走用 Llama。
- 第 4 篇《量化与显存》:参数量 × 位数 ÷ 8 算显存,先升尺寸再升精度,上下文翻倍 KV 缓存也翻倍。
- 第 5 篇《接进日常工具》:Claude Code、Codex(记得
--oss)、OpenCode 三条路,上下文两边都要给到 64K。 - 第 6 篇《RAG 与工具》:先检索再回答,embedding 模型和对话模型各干各的,中文资料用 bge-m3(约 1.2GB)。
- 第 7 篇《上服务器:vLLM 与多人共享》:一个人用 Ollama,一群人同时用 vLLM,8000 端口只在信任的网络里开。
- 第 8 篇(本篇):早上检查、白天三条线、晚上收进知识库、每周维护一次。
如果只留一句话,就是这句:本地模型不是装完就行的玩具,是一套每天走的流程——入口固定、资料越攒越多、每周有人打扫。流程在,模型才在;流程断了,再好的模型也只是在磁盘里占地方。
这一篇里的命令和配置,核对日期是 2026 年 11 月 20 日,用的全是前七篇已经讲过的命令和配置,没引新工具;整条“一天走下来”的流程是我按前七篇拼出来的,没在你机器上从早到晚实际跑过一整天——跑的时候以你那台 Mac 上的实际表现为准,版本号以你装的为准,日期还是占位,推的时候再改成真实发布时间。
练习:30 分钟,把一天走一遍
- 早上那三步走一遍:
ollama list、curl http://localhost:11434,问一句看模型加载要多久。 - 白天三条线各走一次:Open WebUI 里问一句日常问题,Claude Code 或 Codex(
--oss)里让本地模型改一行代码,知识库里问一个文档里有答案的问题。 - 晚上那三步走一遍:把今天这篇练习的笔记收进知识库,再问一句验证它收进去了。
- 最后记一行:今天这三条线,哪条最顺、哪条卡住了,卡住的那条是入口问题还是模型能力问题——下一周先修它。
安全提示
收官的安全提示还是系列里那两句,换个说法:本地服务的端口(Ollama 的 11434、vLLM 的 8000)只在你信任的网络里开,vLLM 默认就是 0.0.0.0,单机用记得加 --host 127.0.0.1,别让它裸着挂到公网;收进知识库的资料,就是你愿意让本地模型读到的东西,密码、密钥、身份证号别往里放,放进去的要定期清理。模型许可证那句照旧:开源权重不等于随便商用,商用之前先确认许可证——这套流程每天都在帮你干活,许可证是它能一直干下去的前提。