BoBo`s Blog

每天进步一点点,能多一点是一点

促销广告

搭一套每天能用的本地工作流

搭一套每天能用的本地工作流 前七篇的零件都齐了:Ollama 是常驻服务(第 2 篇),模型按内存挑(第 3 篇)、按量化算账(第 4 篇),接进了每天用的编程工具(第 5 篇),接上了自己的资料(第 6 篇),人多的时候还能搬上 vLLM 服务器(第 7 篇)。这一篇不讲新工具,只做一件事:把这些零件排成一套每天固定走的流程,早上开机就能用,晚上收尾不留尾巴。流程定下来,本地模型才从“装好了”变成“每天在用”。 ...

2026年11月20日 · 8 分钟 · 3653 字 · 胡巴

上服务器:vLLM 与多人共享

上服务器:vLLM 与多人共享 前六篇的模型都住在你自己的电脑上:一个人问,它答一个,这够用了。但两个人同时问呢?家里人、团队里几个人都想用同一个模型呢?Ollama 一次只专心答一路请求,人一多就得排队。这一篇把模型搬上服务器:vLLM,一个专门给多人同时用的推理服务,一条命令就把模型变成 OpenAI 兼容的接口,前面几篇的工具(Open WebUI、Claude Code、Codex)换个地址就能接着用。 ...

2026年11月20日 · 8 分钟 · 3568 字 · 胡巴

RAG 与工具

RAG 与工具 前五篇的模型再能干,也有个绕不过去的短板:它没读过你的资料。你写的笔记、公司的手册、这个系列前五篇的草稿,它训练时都没见过,问它就只能靠猜,或者一本正经地编。这一篇讲 RAG(检索增强生成):不重新训练模型,而是先从你的文档里找出相关的几段,再连同问题一起交给模型回答。答案的依据是你的文档,不是模型的记忆。这一篇的主角是两个工具:Open WebUI 和 AnythingLLM,模型还是上一篇那套本地 Ollama。 ...

2026年11月20日 · 7 分钟 · 3424 字 · 胡巴

接进日常工具

接进日常工具 前四篇把本地的脑子搭好了:Ollama 常驻在后台、按内存挑了模型、算清了量化与显存、按你的内存档配好了主力配置。这一篇把脑子接进每天用的编程工具:Claude Code、Codex、OpenCode。三个工具的接法各不相同,但要对齐的其实只有三件事:告诉工具去哪找模型、告诉它用哪个模型、给模型多大的上下文。接好之后,你的代码就不用再发到云端了。 ...

2026年11月19日 · 9 分钟 · 4100 字 · 胡巴

量化与显存

量化与显存 上一篇留了一个尾巴:同样是 7B 的模型,为什么下载下来有的是 4.7GB,有的是 14GB?答案就是这一篇的两个主角:量化决定了权重占多少内存,上下文决定了运行时还要再加多少。搞清这两个数,你才算真的会算一台机器能跑多大的模型。 ...

2026年11月18日 · 6 分钟 · 2874 字 · 胡巴

怎么挑模型

怎么挑模型 上一篇把 Ollama 跑成了常驻服务,用的还是 qwen2.5:7b 这个练手模型。这一篇回答下一个问题:到底拉哪个模型? 打开模型库,几百个名字、几十种尺寸,挑错了要么跑不动,要么答得差。挑模型的顺序只有三步:先看内存,再看任务,最后才看榜单。顺序反了,钱和时间都白花。 ...

2026年11月17日 · 7 分钟 · 3102 字 · 胡巴

Ollama 一条命令跑起来

Ollama 一条命令跑起来 第一篇算完了账:80% 的简单活放本地,难的留云端。这一篇就动手,把本地那一端跑起来。目标不是“装一个能聊天的模型”,而是让 Ollama 从用一次跑一次,变成一台常驻的本地服务:随叫随到,不用每次等它重新加载。 ...

2026年11月16日 · 6 分钟 · 2983 字 · 胡巴

本地和云端到底差在哪

本地和云端到底差在哪 同一个问题,你可以问云端的订阅,也可以问自己电脑里的模型。答案可能差不多,但背后的账完全不一样。这一篇先不装东西,把账算清:本地不是用来替代云端旗舰模型的,是用来接住那 80% 的简单活,难的再走云端。 这个分工想明白了,后面七篇的每一步才知道为什么。 ...

2026年11月16日 · 4 分钟 · 1766 字 · 胡巴

搭一个个人电脑助手

搭一个个人电脑助手 前七篇走下来,东西都齐了:脑子有云端和本地两条路(第七篇),手有浏览器、桌面、手机三只(第二、三、四篇),手和手之间有一张交接单(第五篇),动手之前有一张安全检查清单(第六篇)。这一篇不教新东西,只做一件事:把这七篇拼成一套每天能用的个人电脑助手。 ...

2026年11月16日 · 7 分钟 · 3154 字 · 胡巴

用本地模型驱动电脑操作

用本地模型驱动电脑操作 前六篇的脑子一直在云上:你用的编程助手连着云端的大模型,Agent 只是它伸出来的手,浏览器、桌面、手机都由那只手去点。这一篇换个方向:脑子能不能搬回本地,用自己电脑上跑的模型来驱动同一套手? ...

2026年11月16日 · 9 分钟 · 4025 字 · 胡巴