上服务器:vLLM 与多人共享
前六篇的模型都住在你自己的电脑上:一个人问,它答一个,这够用了。但两个人同时问呢?家里人、团队里几个人都想用同一个模型呢?Ollama 一次只专心答一路请求,人一多就得排队。这一篇把模型搬上服务器:vLLM,一个专门给多人同时用的推理服务,一条命令就把模型变成 OpenAI 兼容的接口,前面几篇的工具(Open WebUI、Claude Code、Codex)换个地址就能接着用。
一、先说清:这一篇要换机器
这一节先讲清楚,免得你白装一趟:vLLM 跑在英伟达(NVIDIA)的显卡上,你的 MacBook Air 跑不了它。vLLM 是为 CUDA 写的,苹果芯片的 Mac 没有 CUDA,CPU 模式也不适合正经用。所以这一篇的机器不是你的 Mac,而是下面三种之一:
- 家里或办公室有一台带英伟达显卡的电脑,显卡显存 24GB 起步(比如 RTX 4090),装个 Ubuntu 就能当服务器。
- 租一台带显卡的云服务器,按小时计费,先租一两个小时试一遍全流程,觉得值再长期租。
- 先不急着买卡:第一次练完全可以租卡练手,跑通了、知道自己每天到底用多少,再决定是买卡还是长期租。
没有显卡也别硬装:vLLM 装得上也跑不起来,白白浪费一下午。这一篇的练习默认你手头有一台能用的显卡机器,或者愿意花几块钱租一小时。
二、vLLM 快在哪:两招
Ollama 和 vLLM 都是跑模型,但分工不一样:Ollama 是“一个人用的常驻服务”,vLLM 是“给一群人排队用的服务器”。它快在两招上:
- PagedAttention(分页注意力):模型回答时要把对话的上下文(KV 缓存)存在显存里。老办法是每个请求先占一整块大的连续显存,实际只用一小半,剩下的白白空着,几个请求一来显存就满了。vLLM 像操作系统管内存分页一样,把 KV 缓存切成一小块一小块,按需分配,用多少占多少,浪费从大半降到只剩零头,同一块显存能同时接的请求就多了。
- 连续批处理(Continuous Batching):老办法是一批请求必须等最慢的那个答完才能进下一批,快的也得等着。vLLM 是哪个请求答完了立刻补一个新的进来,显卡一刻也不闲着,人越多,省的时间越明显。
记住这个分界就行:一个人用,Ollama;一群人同时用,vLLM。不用为了快而快去换,家里只有你一个人问,Ollama 完全够用。
三、动手:一条命令把模型变成服务
先装 vLLM,再起服务,两步:
- 先装 vLLM:显卡机器上先确认驱动装好,
nvidia-smi能看到显卡再往下走。建一个虚拟环境再装,别直接装进系统 Python 里:python3 -m venv ~/vllm-env,激活后pip install vllm。装的时候它会顺带装 PyTorch 和 CUDA 的库,包比较大,第一次要等几分钟。版本对不上 CUDA 会报错,装之前看一眼nvidia-smi右上角的 CUDA 版本,再去 vLLM 的安装说明里对一下。 - 一条命令起服务:
vllm serve Qwen/Qwen3-8B --port 8000。第一次跑它会先从 Hugging Face 把模型下载下来(8B 的 BF16 模型约 16GB),下载完自动起服务,默认监听 8000 端口。老教程里那条python -m vllm.entrypoints.openai.api_server已经过时了,现在的标准写法就是vllm serve。 - 验一下它活着:另开一个终端,
curl http://localhost:8000/v1/models,能看到模型名就说明服务起来了。再试一句对话:curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "你好"}]}',能返回回答就通了。注意这里的地址是 OpenAI 的方言(/v1/chat/completions),和 Ollama 的 11434 不是同一个口。 - 旧工具换个地址就能用:Open WebUI、Claude Code、Codex 这些前面接过 Ollama 的工具,把地址从
http://localhost:11434换成http://服务器地址:8000,模型名换成上面那个Qwen/Qwen3-8B,其余不用改——vLLM 说的就是 OpenAI 的方言,工具认不出来区别。
四、三个旋钮:显存、上下文、并发数
服务起来之后,真正决定它稳不稳的是三个参数,起服务的时候一起带上:
--max-model-len 8192:上下文上限。 这是单个请求里提示加回答总共能有多长。开得越大,每个请求占的 KV 缓存越多,同时能接的人越少。先按你的实际用法设:日常聊天和 RAG 检索,8192 够了;模型的标称上下文再长也不用全开。服务起不来报显存不足,先降这个数,多半就能起来。--gpu-memory-utilization 0.90:vLLM 能占多少显存。 它启动时会按这个比例把显存划走,大头留给 KV 缓存。0.90 的意思是最多占 90%,留 10% 给系统和其他程序。显卡只跑 vLLM 一个服务,可以往 0.95 抬;显卡上还跑着别的程序,就往 0.85 降。别设成 1.0,一点余量不留,别的程序一动就崩。--max-num-seqs 256:同时跑多少个请求。 数越大,同时在线的人越多,但每个人的回答会变慢;数越小,每个人答得快,但人一多就得排队。先从 256 起步,人少的时候根本跑不满,不用纠结这个数。
显存的账按第四篇的算法自己算一遍:8B 模型 BF16 权重大约 16GB,24GB 的卡剩 8GB 左右给 KV 缓存,够几十个人同时聊短对话;70B 模型 BF16 要约 140GB,一块卡装不下,要么用 FP8 或 4-bit 量化压到一半以下,要么多卡并联:--tensor-parallel-size 2 是把一个模型拆到两块卡上跑,卡数比如 2 或 4,具体按模型的注意力头数来定。
五、多人共享:钥匙、名字和一道门
服务能跑了,多人用之前先把三件事定下来,不然等于把模型裸奔在网上:
- 先上钥匙:起服务时加
--api-key 一串你自己定的密码,以后每个请求都要在请求头里带Authorization: Bearer 你的密码,没钥匙的直接拒绝。钥匙只有一把,所有人共用同一把——vLLM 本身不分“张三的钥匙”和“李四的钥匙”,也不记谁用了多少。钥匙一旦发出去就收不回来,怀疑泄露了就换一把重启服务。 - 给模型起个短名:
--served-model-name 我的模型,客户端请求里写这个短名就行,不用每次都写 Hugging Face 上那串长名字。家里人、团队里的人记一个短名就够了。 - 别把 8000 端口直接挂到公网:起服务时
--host默认就是0.0.0.0,绑所有网卡——云服务器上端口要是开着,服务默认就是对外的,不是只听本机。单机自己练就明确加上--host 127.0.0.1,只让本机连;想让局域网里的人访问,再考虑放开,但别直接把端口暴露到互联网上:正确的做法是在前面加一道门——家里用 Tailscale 这类组网工具,只让自己人连进来;云服务器上用防火墙只放行你认识的 IP,或者前面架一个反向代理再加一层账号密码。没有钥匙、没有防火墙的 8000 端口挂公网,等于把你的显卡免费借给全世界跑模型,账单和风险都是你的。
另外提一句隐私:默认 vLLM 会把请求打进日志,里面有别人问了什么。共享的服务起的时候加 --disable-log-requests,日志里就不记请求内容了,别人问了什么只留在他自己的电脑上。
六、五个常见翻车
- 在 Mac 上装 vLLM:装到一半报找不到 CUDA,或者装完跑不起来。不是你的操作问题,是这条路本来就不通,回第一节换一台带英伟达显卡的机器。
- 启动就报显存不足:先降
--max-model-len,再降--gpu-memory-utilization,还不行就换个小一点的模型或量化版本,别先去动别的参数。 - CUDA 版本对不上:
pip install vllm装完一跑就报错,先看nvidia-smi的 CUDA 版本,再按 vLLM 安装说明里对应的版本重装,别在报错里猜。 - 模型下载一半断了:第一次下载十几 GB,中断了不用删了重下,重新跑一次
vllm serve它会接着下;家里网慢可以改用国内镜像站,但要确认镜像站的模型文件和官方一致。 - 局域网里别人连不上:先看起服务时加没加
--host 127.0.0.1——加了就只认本机,局域网里的人当然连不上,想让他们连就把--host改成0.0.0.0(再加钥匙和防火墙);没加的话,再看防火墙放没放行 8000 端口,两个都对了再查钥匙对不对。
这一篇里的命令和配置,核对日期是 2026 年 11 月 19 日,来源是 vLLM 官方文档的 vllm serve 说明和几份 2026 年 10 月到 11 月的部署教程,--gpu-memory-utilization 的默认值不同版本说法不一(0.9 到 0.92 都有),所以文中写的是建议值 0.90 而不是默认值。命令和配置都没实际跑过——我手头没有带英伟达显卡的机器——配的时候以你那台服务器上的实际表现为准,版本号以你装的为准。
练习:20 分钟,让两个人同时问上
- 在显卡机器上(或租一小时云 GPU)跑通
vllm serve Qwen/Qwen3-8B --port 8000 --host 127.0.0.1 --max-model-len 8192 --gpu-memory-utilization 0.90 --api-key 你自己定的密码,curl看到模型列表。 - 在你自己的 Mac 上,把 Open WebUI 的模型地址改成这台服务器的 8000 端口,问一句能答就通了。
- 再找一个人(或在另一台电脑上)同时问一句,看两个人是不是都能拿到回答,不用排队等前一个答完。
- 试试把
--max-model-len从 8192 降到 4096 再起一次,看看启动快了多少、显存占用少了多少,体会一下上下文和并发数之间的取舍。
安全提示
这一篇的安全提示还是那两句,换个说法:vLLM 的 8000 端口只在你信任的网络里开,钥匙、防火墙、反向代理至少要有一样,别为了图方便就把没钥匙的服务挂到公网;传进共享服务的资料,就是你愿意让同服务器的人读到的东西,别把含密码、密钥、身份证号的文件发给共享的模型。模型许可证那句照旧:开源权重不等于随便商用,商用之前先确认许可证——多人共享算不算商用,先看许可证再定。