用 Docker 搭建本地 AI 推理服务

本地跑大模型是 Homelab 玩家的快乐源泉。这篇文章记录我如何用 Docker 在 NAS 上部署 Ollama。

为什么用 Docker

裸装 Ollama 会污染系统环境，Docker 隔离后，模型文件、依赖、端口都隔离在容器里，想删就删。

一键启动

docker run -d \
  --name ollama \
  --restart unless-stopped \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  ollama/ollama

这个命令做了三件事：挂载数据卷存放模型、映射 11434 端口、开机自启。

拉取并运行模型

docker exec -it ollama ollama pull qwen2.5:7b
docker exec -it ollama ollama run qwen2.5:7b

拉取完成后，curl http://localhost:11434/api/generate -d '{"model":"qwen2.5:7b","prompt":"你好"}' 就能验证服务正常。

小结

本地 AI 的好处是零成本、隐私可控、离线可用。配合 NAS 的 24 小时运行，等于拥有一个永不下线的私有模型。开源生态让这一切都唾手可得。