RAG 与工具
前五篇的模型再能干,也有个绕不过去的短板:它没读过你的资料。你写的笔记、公司的手册、这个系列前五篇的草稿,它训练时都没见过,问它就只能靠猜,或者一本正经地编。这一篇讲 RAG(检索增强生成):不重新训练模型,而是先从你的文档里找出相关的几段,再连同问题一起交给模型回答。答案的依据是你的文档,不是模型的记忆。这一篇的主角是两个工具:Open WebUI 和 AnythingLLM,模型还是上一篇那套本地 Ollama。
一、RAG 到底在干什么
RAG 只有两步,名字就写在里面:检索(Retrieval)+ 生成(Generation)。你问一个问题,它先去你的文档里找最相关的几段,再把问题和这几段一起发给对话模型,模型照着这几段回答。
- 为什么不直接把全文贴进对话框。 上一篇刚把上下文开到 64K,几份文档是贴得下,但再多就不行了:几十份手册、几年的笔记,上下文再大也装不下;而且每次提问都把全文发一遍,又慢又占显存。RAG 只贴最相关的几段,上下文省下来给真正有用的内容。
- 为什么不重新训练模型。 微调是把知识“焊”进模型,费时间、费算力,资料一改又要重训;RAG 是把知识放在模型外面,文档改了重新索引就行,模型本身不用动。你的资料经常变,RAG 更合适。
- 和上一篇的工具不是一回事。 上一篇的 Claude Code、Codex 是让模型直接读你指定的文件——你知道答案在哪个文件里。RAG 是反过来的:你不知道答案在哪份文档里,先让它自己找。写代码用上一篇的工具,查资料用这一篇的 RAG。
二、RAG 要两台发动机
一套 RAG 跑起来要两个模型,各干各的活,别拿错:
- Embedding 模型:负责找。 它把一段文字变成一串数字(向量),意思接近的文字,数字也接近。问问题时先把问题也变成向量,去向量库里比一比,找出最像的几段。它不回答问题,只负责找,所以个头很小:
nomic-embed-text只有 274MB,768 维,窗口默认 2K 个 token,是 Ollama 模型库里下载量最大的 embedding 模型。先从它开始,够用了再换。 - 对话模型:负责答。 就是你前面几篇挑好的聊天模型(
qwen2.5:7b、qwen3:8b这类),拿到检索到的几段之后组织答案。两个模型都要拉:ollama pull nomic-embed-text,再加一个你常用的对话模型。 - 向量库:负责存。 找出来的向量要存在一个地方,Open WebUI 自带 ChromaDB,AnythingLLM 自带 LanceDB,装的时候不用你另外搭。记住一条铁律:向量只认生成它的那个 embedding 模型,换了 embedding 模型,旧的索引就作废了,必须重新索引,不然找出来的全是错的。
三、中文资料多,embedding 模型怎么挑
Embedding 模型和聊天模型一样,先看你的资料是什么语言:
- 英文资料为主:
nomic-embed-text(274MB,768 维,2K 窗口),先拉它跑通全流程再说。 - 中文资料为主:
bge-m3,1024 维,多语言模型,中文检索比纯英文的 embedding 模型稳,代价是文件更大(约 1.2GB)。资料里中英文混着来,也选它。 - 想再精一点:
mxbai-embed-large(670MB,1024 维),英文榜单成绩更好,但窗口只有 512 个 token,段落切得太大它装不下,适合英文短文档。
选模型的规矩和第三篇一样:先跑通,再优化。第一遍用 nomic-embed-text 把流程走通,觉得中文找得不准,再换 bge-m3,换完记得重新索引全部文档。
四、动手:Open WebUI 一条路跑通
Open WebUI 是 Ollama 的网页聊天界面,自带文档上传和 RAG,是最短的一条路:
- 先装 Open WebUI:
pip install open-webui,然后open-webui serve,浏览器打开它给的地址,注册一个本地管理员账号。嫌 pip 麻烦也可以用 Docker 跑,但注意 Docker 里的 Open WebUI 连本机 Ollama 不能写localhost,地址要写http://host.docker.internal:11434。 - 告诉它用哪个 embedding 模型:进 Admin → Settings → Documents,Embedding Model Engine 选 Ollama,模型名填
nomic-embed-text。注意:名字不要加ollama/前缀,加了会报 model not found。 - 建一个知识库:进 Workspace → Knowledge,点 Create,起个名字(比如“我的笔记”),把文件传上去。PDF、TXT、DOCX、Markdown 都能传,传完它会自动切块、算向量、存进 ChromaDB。
- 问的时候挂上知识库:新开一个聊天,在输入框里打
#,选刚才建的知识库,或者点+号从文档库里挑。输入框上方出现文档图标,就说明挂上了。 - 最容易踩的坑:上下文没给够。 Ollama 会按显卡显存给模型定默认上下文,24GB 以下的卡默认只有 4096 个 token,检索到的几段根本塞不进,模型就直接忽略你的文档、凭记忆编答案。先去 Settings → Admin → Models,点你的模型进 Advanced Params,把上下文调到 8192 以上,再回来问。上一篇的 64K 是给编程工具的,RAG 这边 8192 起步就够,显存不够就别硬上 64K。
五、另一条路:AnythingLLM
不想折腾 Open WebUI 的设置,还有一条更省事的路:AnythingLLM,有桌面版,下载安装就能用。
- 它自带一套全家桶:向量库(LanceDB)和 embedding 模型都是内置可选的,不用你再去配 Open WebUI 那几页设置,上传文档、建知识库、提问都在一个界面里。
- 什么时候选它:你只想“传文档、问问题”,不想管 Open WebUI 的管理员设置、模型参数这些细节,或者你的机器上还没装 Open WebUI,AnythingLLM 一步到位。
- 什么时候还是 Open WebUI:你已经在用 Open WebUI 聊天,或者想把同一个知识库挂给不同的对话模型、调切块大小这些细参数,Open WebUI 的可调项更多。两条路的文档都留在本地,分不出高下,选顺手的那条。
六、显存预算:RAG 的账怎么算
上一篇练习让你记的那个数(模型加 64K 上下文实际占多少内存),到这里就是你的预算:
- Embedding 模型几乎不占地方:
nomic-embed-text274MB,跑在 CPU 上都行,和对话模型同时留在内存里没压力。 - 大头还是对话模型加上下文:检索到的段落也要占上下文,64K 里每段按 500 个 token 算,取回 5 段就是 2500 个 token,再加问题和回答,8192 的上下文刚好够用;想一次取回更多段,就把上下文往上加,显存账按上一篇的算法自己算。
- 文档越多,索引越大,但不吃显存:向量库存在硬盘上,几百份文档的索引也就几百 MB,问的时候才把最相关的几段读进内存。文档量上去不用换模型,换的是硬盘空间。
七、五个常见翻车
- 上下文没给够就问:模型答得头头是道,但一句都没引用你的文档。先查上下文是不是还停在 4096,调到 8192 以上再问。
- 换了 embedding 模型没重建索引:向量是旧模型算的,新模型去比,全是错的。换模型之后,在知识库里把文档全选,点 Re-index,全部重算一遍。
- 中文资料用了纯英文 embedding:找出来的段落牛头不对马嘴。中文多就换
bge-m3,别硬扛。 - 问了文档里没有的问题:RAG 不是保证,文档里没有答案,模型照样会编。回答之后对照一下它引用的原文,没引用的那句先别信。好习惯是每次都让它贴出依据的段落,再信结论。
- 一把把整个知识库都挂上:挂的文档越多,检索的噪音越大,模型越容易被不相关的段落带偏。一次只挂和这个问题相关的那一个知识库。
这一篇里的命令和配置,核对日期是 2026 年 11 月 19 日,来源是 Open WebUI 官方文档的 RAG 说明、Ollama 模型库里各 embedding 模型的尺寸与窗口,以及 AnythingLLM 的官方文档。其中 Open WebUI 的界面位置和“上下文 4096”的默认值是按 2026 年 10 月到 11 月的文档核对的,界面文字不同版本会变,以你装的版本显示的为准;命令和配置都没实际跑过,配的时候以你机器上的实际表现为准。
练习:20 分钟,让模型读你自己的文档
- 按你的资料语言拉一个 embedding 模型(英文
nomic-embed-text,中文多就bge-m3),再确认对话模型的上下文已经调到 8192 以上。 - 把这个系列前五篇的 Markdown 文件传进一个知识库(都在
content/posts/下面,文件名带local-models的那几篇),等它索引完。 - 问一个只有文档里才有的答案的问题,比如“第三篇里 16GB 内存推荐用什么尺寸的模型”,看它答得对不对、引没引用原文。
- 再问一个文档里没有的问题,比如“这个系列一共计划写几篇以外的事”,看它会不会老实说不知道,还是编一个答案。两问一对比,RAG 的边界就摸到了。
安全提示
这一篇的安全提示还是那两句,换个说法:Ollama 的 11434 端口只听本地,Open WebUI 和 AnythingLLM 也只在你自己的机器上跑,别为了让别人访问就把它们挂到公网上;传进知识库的东西,就是你愿意让模型读的东西,别把含密码、密钥、身份证号的文件传进去——向量库里存的是原文的切片,传进去就等于留了一份。模型许可证那句照旧:开源权重不等于随便商用,商用之前先确认许可证。