Ollama 一条命令跑起来
第一篇算完了账:80% 的简单活放本地,难的留云端。这一篇就动手,把本地那一端跑起来。目标不是“装一个能聊天的模型”,而是让 Ollama 从用一次跑一次,变成一台常驻的本地服务:随叫随到,不用每次等它重新加载。
如果你跟过电脑操作系列第 7 篇,已经装过 Ollama、拉过 qwen2.5vl:3b,那这一篇没有新的安装步骤,只讲怎么把它当服务用。第 7 篇是“跑起来”,这一篇是“一直跑着”。新东西有三件:模型在内存里留多久、一次能接几路请求、端口和地址怎么管。
一、先走通最短的一条线
不管后面怎么调服务,先确认这条线是通的。已经跑通过的可以跳过这一节,直接看第二节。
- 装 Ollama:去官网下载,macOS 上拖进应用程序就能用。装完在终端跑
ollama --version,能打出版本号就说明装好了。Mac 上装完 Ollama 会在后台自己起一个服务,登录后自动启动,不用你手动跑ollama serve。 - 拉一个文字模型练手:
ollama pull qwen2.5:7b,下载大约 4 到 5GB。第 7 篇拉的是能看图的 qwen2.5vl,那是给“看截图”准备的;日常的摘要、改写、分类这些文字活,拉文字模型就够了,不用每次都上视觉模型。 - 问一句,确认它能答:
ollama run qwen2.5:7b "用一句话介绍你自己",能回话就说明模型、运行器、接口三件都通了。再确认接口在听:curl http://localhost:11434/v1/models,能列出模型名字,服务这一步就算通了。
这条线走通之后,别急着换大模型。先把服务调顺,模型大小是下一篇挑模型的事。
二、模型在内存里留多久
这是常驻服务的第一个关键问题。你问完一句、合上终端,模型并不会立刻从内存里消失,也不会永远留在那里。默认的规矩是:最后一次请求之后 5 分钟,模型自动卸载,内存还给系统。 下一次再问,就要重新加载,等上几秒到几十秒。这就是很多人觉得本地模型“第一次问特别慢”的原因——不是模型慢,是它刚被卸掉、正在重新装进来。
看一眼现在内存里住着谁:ollama ps,列出正在运行的模型和各自的剩余驻留时间。不用猜,状态都在这里。
想改这个规矩,有两个办法。一次性的办法,写在某次请求里:ollama run qwen2.5:7b --keepalive 30m "……",这一次让模型多留 30 分钟;接口调用的话,在请求里传 keep_alive 参数,效果一样,单次请求的参数会盖过全局设置。一劳永逸的办法,改环境变量 OLLAMA_KEEP_ALIVE:设成 30m 是留半小时,设成 -1 是永远不卸载,设成 0 是每次答完立刻卸载。
取舍很直接:常驻省的是等待时间,花的是内存。 每天高频用的主力模型,值得设成 -1 或者 24h,早上开电脑它就在;一周用一两次的模型,让它按默认 5 分钟卸载就行,内存留给别的程序。Mac 的统一内存是 CPU 和 GPU 共用的,模型常驻占掉的那几 GB,浏览器和编辑器就少了几 GB,别两个大模型同时常驻。
Mac 上改环境变量有个坑要先说:终端里 export OLLAMA_KEEP_ALIVE=-1 只对那个终端里手动起的服务有效。 平时 Ollama 是 App 在后台跑的服务,读的是系统环境,不是你终端里的。正确做法是 launchctl setenv OLLAMA_KEEP_ALIVE 30m,然后退出再重开 Ollama 应用,让它带着新设置重新启动。改完跑 ollama ps 看一眼,确认模型还住在内存里,才算改生效了。
三、一次能接几路请求
第二个旋钮是并发。默认情况下,一个模型一次只处理一路请求,第二路来了要排队等着。这对一个人自己用完全够用:你一次也只能问一个问题。但下面两种情况会撞上它:
- 你同时开了两个工具,都在问同一个本地模型,比如编辑器插件和一个批量脚本一起跑。
- 你想让模型一边跑批量摘要,一边还能回你的聊天。
管并发的变量是 OLLAMA_NUM_PARALLEL,默认值是 1。改成 2,就是允许一个模型同时处理两路请求。代价也要说清楚:每一路并发都要多占一份上下文内存。 并发数翻倍,内存占用跟着涨,Mac 上 8GB 内存的机器别贪多,2 就够了;16GB 以上再考虑 4。
还有一个配套的变量 OLLAMA_MAX_LOADED_MODELS:内存里同时能住几个不同的模型,默认值是每块 GPU 3 个,纯 CPU 的机器也是 3 个。超过了,Ollama 会把最久没用的那个先卸掉,给新来的腾地方。两个人格的模型来回切换、每次都要重新加载,多半是撞上了这个上限,而不是模型本身慢。一个人日常用,一个主力模型常驻、一个备用模型随叫随到,这个上限基本碰不到。
排队也有上限:OLLAMA_MAX_QUEUE 默认 512,请求排队超过 512 个,服务直接返回 503。个人使用基本碰不到这个数,写在这里是让你知道,服务不是无限排队的。
四、端口和地址:只听本地,别动它
Ollama 默认只监听本机:127.0.0.1:11434。这句话的意思是,只有这台电脑上的程序能问它,局域网里的别的电脑、公网上的任何人都连不上。 这是正确的默认状态,别为了图方便改掉。
改地址的变量是 OLLAMA_HOST。把它改成 0.0.0.0:11434,就是让所有网卡都监听,同一 Wi-Fi 下的手机、别的电脑都能连上来。听起来方便,代价是:Ollama 的接口没有密码,任何人连上就能免费用你的模型,还能看到你的请求记录。 家里内网多一台电脑想用,有更稳妥的办法:那台电脑自己装一个 Ollama,或者走第七篇 vLLM 那种带反向代理和鉴权的部署。这一篇的结论只有一句:端口保持默认,别动它。
还有两个常见的地址问题。第一,终端里手动跑 ollama serve,报端口已被占用。 这不是装坏了,是 Ollama 应用已经在后台占着 11434,你又起了一个。解决办法是二选一:要么用应用的服务,别手动起;要么先退出 Ollama 应用,再在终端里跑,调完记得把应用重开回来。第二,模型存在哪:默认在 ~/.ollama/models,磁盘快满了可以改 OLLAMA_MODELS 指到别的盘,改完要重拉模型,旧的不会自动搬过去。
五、排错:先看状态,再换模型
本地服务卡住的时候,先别换模型、别重装,按这个顺序查,多数问题三步就能定位。
- 服务在不在:
curl http://localhost:11434/v1/models,能列出模型就是服务活着;连不上,先看 Ollama 应用是不是退出了,重开它再试。 - 模型在不在内存里:
ollama ps,没在列表里就是被卸载了,问一句它就重新加载;加载慢是正常的,加载失败才要看磁盘空间和内存够不够。 - 模型答得慢:先看是不是并发排队,再看是不是上下文太长。
ollama stop qwen2.5:7b能手动把模型卸掉,腾出内存;想换小模型,先停大的再拉小的,别两个一起住在内存里抢地方。
这三步查完还不行,再看报错本身:多数时候是地址和端口的问题,不是模型的问题。
练习:20 分钟,把服务调成你想要的样子
- 跑
ollama ps,记下现在内存里住着哪个模型、还剩多久卸载。 - 问模型一个问题,立刻再跑
ollama ps,看剩余时间是不是重新开始算了;等 5 分钟再跑一次,看它是不是已经不在列表里了。 - 把
OLLAMA_KEEP_ALIVE设成30m(Mac 用launchctl setenv,再重启 Ollama 应用),重复第 2 步,确认模型这次留下来了。 - 问自己一句:这个模型值得常驻吗?每天用的,设成
-1;一周用一两次的,让它按默认卸载。把决定记下来,下一篇挑模型的时候直接用。
安全提示
这一篇的安全提示只有一条,但要再说一遍:Ollama 的 11434 端口不要暴露到公网。 默认只听本地是对的,OLLAMA_HOST 改成 0.0.0.0、路由器上做端口转发、反向代理不加鉴权,任何一种都会让你的模型变成公开服务。局域网里想共享,等第七篇讲 vLLM 的时候再配带鉴权的办法。另外,模型只从 Ollama 自带的模型库里拉,别从不明链接下载权重文件。