量化与显存

上一篇留了一个尾巴:同样是 7B 的模型,为什么下载下来有的是 4.7GB,有的是 14GB?答案就是这一篇的两个主角:量化决定了权重占多少内存,上下文决定了运行时还要再加多少。搞清这两个数,你才算真的会算一台机器能跑多大的模型。

一、量化:把 16 位的数存成 4 位

模型训练出来的时候,每个参数是一个 16 位的浮点数(FP16)。7B 就是 70 亿个这样的数,70 亿 × 16 位 ÷ 8 = 约 14GB,这就是全精度版本的下载大小。量化就是把每个数用更少的位数存起来:8 位存一个,4 位存一个,文件立刻小下来。

拿 7B 模型算一笔账,公式只有一个:参数量 × 每参数位数 ÷ 8 = 权重大约占多少字节。

  1. FP16(16 位,不量化):约 14GB。原始精度,本地推理一般用不上,微调才要它。
  2. Q8_0(约 8.5 位):约 8GB。质量几乎和原版一样,适合内存有富余、又想保质量的时候。
  3. Q5_K_M(约 5.5 位):约 5.5GB。比 Q4 好一点,比 Q8 小不少,有富余内存时的折中选择。
  4. Q4_K_M(约 4.9 位):约 4.7GB。这是 Ollama 默认拉到的版本,也是大多数人的甜点区。
  5. Q3_K_M(约 3.5 位)及以下:约 3.5GB 往下。质量开始明显掉,只有实在装不下的时候才选;Q2_K 更低,日常用不推荐。

量化不是随便四舍五入:同一个数,存成 4 位会丢精度,但丢多少要看怎么存。质量不是随位数直线下降的:从 16 位降到 8 位几乎看不出差别,降到 4 位也只差一点,跌到 3 位以下才明显变差。这就是 Q4_K_M 能成为默认的原因——体积只剩三分之一,质量还留在 95% 以上。

二、读懂 Q4_K_M 这串密码

模型名字后面的 q4_K_M 不是乱码,三个部分各有意思:

  1. Q4:目标是 4 位,每参数大约 4 位。
  2. K:k-quant 的意思。权重按小块分组,每块单独存一个缩放比例,重要的块多给点精度,不重要的块少给点。同样是 4 位,带 K 的比不带 K 的老式 Q4_0 好得多。
  3. M:medium,中等混合。敏感的层(比如输出层和一部分注意力层)用 6 位存,其余用 4 位。S 是 small(更省)、L 是 large(更保真),M 是中间的平衡点。

所以 Q4_K_M 实际是约 4.9 位,不是正好 4 位——块缩放比例和被提上去的那几层都要占地方。Q8_0 同理,实际约 8.5 位。名字里的数字是目标位宽,实际大小要以 ollama list 显示的为准。

Ollama 里换量化级别就是换标签:ollama pull qwen3:8b 拉到的就是默认的 Q4_K_M(5.2GB),想换 8 位就写 ollama pull qwen3:8b-q8_0(8.9GB)。拉完用 ollama show qwen3:8b-q8_0 看一眼,里面有一行 quantization,写的是什么就是什么,不用猜。

三、显存不只是权重:上下文也要占地方

权重只是内存账的一半。模型回答的时候,要把你发过来的对话和它已经生成的文字都记在一种叫 KV 缓存的东西里,上下文越长,这块越大。下载大小只是下限,跑起来只会比它多。

  1. 上下文默认只有 4096 个 token 左右,日常对话够用,长文档、长对话会先把这块占满再说不够。
  2. 上下文翻倍,KV 缓存也差不多翻倍。 同一个 8B 模型,4K 上下文时权重加缓存约 6.5GB,上下文开到 32K、128K,缓存那块可能反超权重本身。
  3. 先看再调:跑起来之后用 ollama ps 看 SIZE 那一列,就是这个模型此刻实际占的内存。同样的问题,先短后长各问一次,SIZE 涨了多少,就是上下文的账。
  4. 缓存也能量化:把 OLLAMA_KV_CACHE_TYPE 设成 q8_0,KV 缓存大约能省一半,长上下文时很有用;再配上 OLLAMA_FLASH_ATTENTION=1,速度和内存都更省。

还有一个平台差别要记牢:Mac 是统一内存,权重、缓存和系统本身都从同一池子里拿,上一篇的三档内存就是这么算的;Windows 和 Linux 的独立显卡是显存说了算,模型装不进显存的那部分会溢到系统内存里用 CPU 跑,速度一下子慢下来。所以独立显卡的机器看显存,Mac 看统一内存,别拿错了尺子。

四、按内存档选:先升尺寸,再升精度

手里有富余内存,先干什么?一条规矩:先升尺寸,再升精度。 先把两个词说清楚:尺寸就是参数量,模型名字里的 3B、7B、14B、27B,参数越多,模型知道的越多、推理能力的上限越高;精度就是量化级别,每个参数用几位来存,FP16 是 16 位,Q8_0 约 8.5 位,Q4_K_M 约 4.9 位,位数越高记得越精细。参数量决定模型“会多少”,精度只决定“记得有多准”——7B 再精确也只有 70 亿参数的容量,14B 哪怕每个参数存得粗一点,整体也更聪明。打个比方,尺寸像书的厚度,精度像印刷的清晰度,一本内容厚的书印得稍模糊,也比一本很薄但印得极清晰的书有用。

拿 16GB 的机器算一笔账:8B 的 Q8_0 版(qwen3:8b-q8_0)约 8.9GB,14B 的 Q4_K_M 版约 9GB,占的内存差不多,但 14B 答得明显更好;反过来 8B 从 Q4 升到 Q8,答案几乎没差别,文件却大了七成。所以大模型配 Q4,通常比小模型配 Q8 答得好。按上一篇的三档内存:

  1. 8GB 内存:别碰量化级别,老老实实跑 3B 到 4B 的 Q4_K_M。qwen3.5:4b 约 4GB,留足上下文余量。
  2. 16GB 内存:主力是 7B 到 9B 的 Q4_K_M(qwen3.5:9b 约 6.6GB)。如果某个小模型对你特别重要、又想保质量,可以单独给它拉一个 Q8_0 版,比如 qwen3:8b-q8_0 约 8.9GB,但别全换成 Q8。
  3. 24GB 以上:可以试 14B 到 27B 的 Q4_K_M(qwen3.8:27b 约 17 到 18GB),或者把 7B 到 8B 的主力模型升到 Q8_0。两种花法,优先升尺寸。

换之前先看一眼磁盘:ollama list 里每个版本都要占一份地方,Q4 和 Q8 两个版本并存就是两份下载。模型存在 ~/.ollama/models,不用的版本用 ollama rm 模型名 删掉,上一篇讲过。

五、三个常见翻车

  1. 拉了 FP16 版把内存占满:模型库里有些标签是 fp16,7B 就要 14GB,16GB 的机器一拉就满。拉之前先看标签页,名字里没写量化级别的默认版才是 Q4_K_M。
  2. 上下文开太大跑不动:把上下文从 4K 调到 128K 之前,先算一笔 KV 缓存的账。跑起来变慢、开始往 CPU 上溢,多半是上下文开过头了,先降回来。
  3. 以为下载大小就是全部:下载 4.7GB 的模型,跑起来占 6GB 以上很正常——KV 缓存、系统和其他程序都要分一杯羹。上一篇说的“多留 20% 余量”,就是给这两块留的。

这一篇里的尺寸和级别,核对日期是 2026 年 11 月 17 日,来源是 Ollama 模型库和 llama.cpp 的量化说明。模型版本更新很快,拉之前先去模型库确认一下标签和大小——这也是本系列每篇都要写核对日期的原因。

练习:20 分钟,亲手量一次显存

  1. 跑 ollama show qwen2.5:7b(或你上一篇拉的主力模型),记下 quantization 和 context length 这两行。
  2. 跑 ollama ps,记下它现在占了多少内存;再问它一个长问题(比如让它总结一篇长文章),问完马上再跑一次 ollama ps,看 SIZE 涨了多少。
  3. 按你的内存档,拉同一个模型的另一个量化级别:16GB 的机器拉 qwen3:8b-q8_0,和默认的 qwen3:8b(Q4_K_M)用同一个问题各问一遍,对比答案质量和速度,再看 ollama list 里两个版本各占多少空间。
  4. 把结论记下来:你的机器上,哪个尺寸、哪个量化级别是主力,上下文开到多少以内不卡。下一篇接工具的时候,直接按这个配置来。

安全提示

这一篇的安全提示还是那两句,值得每篇都提:别把 Ollama 的 11434 端口暴露到公网,模型服务只听本地;量化不改变许可证,Q4 版和 FP16 版是同一个模型,商用之前一样要先确认许可证允不允许。另外,权重文件只从 Ollama 自带的模型库里拉,别从不明链接下载来路不明的量化文件。