怎么挑模型

上一篇把 Ollama 跑成了常驻服务,用的还是 qwen2.5:7b 这个练手模型。这一篇回答下一个问题:到底拉哪个模型? 打开模型库,几百个名字、几十种尺寸,挑错了要么跑不动,要么答得差。挑模型的顺序只有三步:先看内存,再看任务,最后才看榜单。顺序反了,钱和时间都白花。

一、先看内存:你的机器能住多大的模型

模型挑多大,第一件事不是看它多聪明,是看你的内存装不装得下。一个模型下载下来是几 GB,跑起来就要占几 GB 内存,再加上上下文还要多留 20% 左右的余量。 装不下的模型,再强也跑不起来;勉强装下的,跑起来也慢。

按 Mac 统一内存(Windows 和 Linux 看显存)分三档,够用了:

  1. 8GB 内存:住 3B 到 4B 的小模型。qwen3.5:4b 约 4GB,llama3.2:3b 约 2GB,gemma3:4b 也在这个档。日常的摘要、改写、分类够用,写长文和复杂推理会吃力。
  2. 16GB 内存:住 7B 到 9B 的模型,这是大多数人的甜点区。qwen3.5:9b 约 6.6GB,llama3.1:8b 约 4.9GB,gemma4:12b 约 7.7GB。上一篇的 qwen2.5:7b 也在这个档。日常活基本都能接住,速度也不慢。
  3. 24GB 以上:可以试 14B 到 27B。qwen3.8:27b 约 17 到 18GB,gemma4:26b 约 19GB,mistral-small3.2:24b 约 15GB。质量明显再上一个台阶,但要留够上下文的余量,别把内存占满。

上面这些尺寸都是默认的 4 位量化(Q4_K_M)下载大小,也就是 ollama pull 不加参数拉到的那个版本。量化是什么、为什么默认是它,是下一篇的事,这里只要记住:下载大小就是内存占用的下限,实际跑起来只会比它多,不会比它少。

不知道自己有多少内存能用?Mac 上点左上角苹果菜单,看“关于本机”里的内存;跑起来之后用 ollama ps 看模型实际占了多少,再决定要不要换更大的。先拉一个小的跑通,再换大的,别一上来就拉 70B。

二、四个家族,各适合干什么

模型分家族,同一个家族里尺寸不同、性格也差不多。先认家族,再挑尺寸:

  1. Qwen(通义千问):中文最稳,工具调用也好。日常中文写作、摘要、分类,优先看它。qwen3.5 是 2026 年 11 月的主力,2B、4B、9B 都有,模型本身支持看图,但 Ollama 端是否已支持要以模型库页面为准,拉之前确认一下;写代码用同家族的 qwen2.5-coder:7b,14B 的版本更好。电脑操作系列第 7 篇拉的 qwen2.5vl 就是这个家族的视觉版。
  2. Llama(Meta):生态最广,教程和工具默认都支持它。英文任务、想照着国外教程一步步走,选它最省事。llama3.1:8b 是拉取量最大的模型之一,久经考验;llama3.2:3b 是小机器的首选。中文能力不如 Qwen,但英文和代码不差。
  3. Mistral(欧洲):指令跟随稳,答得规矩。mistral-small3.2:24b 带看图,24GB 内存的机器可以试;小尺寸的 ministral-3:8b 下载约 5GB,8GB 的机器可以试,但上下文一长就紧,要留足余量。它的长处是按要求办事,短处是中文语料相对少,中文写作不如 Qwen。
  4. Gemma(Google):多模态是强项,文本、图片、音频都能接。gemma4:12b 是 16GB 机器的好选择,gemma4:e4b 更小。许可证是 Apache 2.0,商用限制少,这一点下面安全提示里还会再提。

还有两个要认识的名字:DeepSeek-R1 的蒸馏版(比如 deepseek-r1:8b),擅长一步步想明白再答,数学和推理题比同尺寸的普通模型强,但答得慢、话多,日常聊天不用它;gpt-oss:20b(OpenAI 的开源权重),推理和工具调用都强,16GB 内存能跑,但下载要 13GB,先确认磁盘够。

一句话的选法:中文日常用 Qwen,照国外教程走用 Llama,要规矩的指令跟随看 Mistral,要看图、听声音用 Gemma,难推理题单独拉一个 DeepSeek-R1 蒸馏版。

三、大小和质量:不是越大越好

同一个家族里,大模型一定比小模型答得好,但好多少、值不值,要看任务:

  1. 日常活(摘要、改写、分类、简单问答):7B 到 9B 已经够了。换成 27B,答案不会明显更好,速度却慢一倍,内存多占三倍。
  2. 难活(长文写作、多步推理、复杂指令):尺寸的差距就出来了。14B 比 7B 稳,27B 比 14B 更稳,70B 除非有 48GB 以上的内存,否则别碰。
  3. 速度也是质量的一部分:本地模型每秒吐几个 token,你是能感觉到的。小模型一秒十几个词,大模型一秒几个词。每天高频用的主力模型,宁可小一点、快一点,也别大到每次等它半天。

还有一个容易被忽略的点:提示词写得好,小模型也能干大活。 把任务拆成一步一步、给足例子和格式,7B 的表现常常超过没写好提示的 14B。先练提示词,再升级模型,这个顺序能省不少内存和时间。

四、instruct 和 base,别拿错

模型名字里常有 instruct、chat、base、text 这些后缀,拿错了,模型会表现得很怪:

  1. instruct(指令微调版):你问它答,像聊天一样用。这是日常要拉的版本。Ollama 模型库里默认的 qwen3.5:9b、llama3.1:8b 这类名字,背后都是 instruct 版,直接问就行。
  2. base(基础版):只会续写,不会对话。你问“北京今天天气怎么样”,它可能接着写“北京今天天气怎么样,上海今天天气怎么样……”——不是它坏了,是你拿错了版本。base 是用来微调和研究的基础,不是给人聊天的。
  3. 怎么认:拉之前先看一眼模型库的标签页,名字里带 base、text 的别直接拿来聊天;没有后缀的默认版本,一般就是能对话的 instruct 版。已经拉错了也不怕,ollama rm 模型名 删掉重拉就行,上一篇讲过模型存在 ~/.ollama/models,删了不心疼。

五、榜单只看带日期的

“哪个模型最强”这个问题,答案每周都在变。立一条规矩:只看带日期的榜单,不看没写日期的“最强推荐”。

  1. 看拉取量和更新时间:Ollama 模型库(ollama.com/library)每个模型都标了拉取量和最近更新,拉取量大、最近更新过的,说明有人在用、有人在维护。
  2. 看公开评测,但要看日期:LMArena、Open LLM Leaderboard 这些公开榜单都有日期,同一个模型上个月第一、这个月可能已经掉出前十。文章里写“某月某日核查”才算数,没写日期的排名,别信。
  3. 自己跑一遍最作数:拉两个候选模型,用同一个问题、同一个提示词各问一遍,答案好不好,你自己一眼就能看出来。榜单是别人的答案,你的任务才是标准。

这一篇里的尺寸和推荐,核对日期是 2026 年 11 月 16 日,来源是 Ollama 模型库和当月的几份选型汇总。模型版本更新很快,你读到这篇的时候,尺寸和排名可能已经变了,拉之前先去模型库确认一下——这也是本系列每篇都要写核对日期的原因。

练习:20 分钟,拉两个模型比一比

  1. 跑 ollama list,记下现在机器里有哪些模型、各占多少空间。
  2. 按你机器的内存档,拉一个同家族大一号的模型:8GB 的机器拉 qwen3.5:4b,16GB 的拉 qwen3.5:9b(如果上一篇已经拉了 qwen2.5:7b,就拿它当对照组)。
  3. 用同一个问题问两个模型,比如“用三句话解释什么是量化,写给没学过机器学习的人看”,把两个答案并排看一遍:哪个更清楚、哪个更啰嗦、哪个更快。
  4. 把结论记下来:哪个模型是你的主力,哪个是备用。下一篇讲量化与显存的时候,直接拿这个结论去算显存。

安全提示

这一篇的安全提示是关于许可证的:开源权重不等于随便商用。 Qwen、Llama、Gemma、Mistral 各自的许可证不一样,有的限制商用规模,有的要求署名,有的不允许拿去训练竞品模型。自己学习、写文章、做练习,怎么用都行;但要拿去做产品、接客户之前,先去模型库的许可证一栏看一眼,确认你的用法在允许范围内。另外,模型只从 Ollama 自带的模型库里拉,别从不明链接下载权重文件——上一篇也提过这句,值得再提一次。