DeepSeek R1 系列是开源推理模型的代表,蒸馏版能在消费级硬件上跑。这篇记录我用 Ollama 部署 R1 蒸馏版的实操。
选模型
完整 R1 要几百 GB,普通玩家跑不动。Ollama 上能直接拉的是蒸馏版:
ollama pull deepseek-r1:7b
ollama pull deepseek-r1:14b
ollama pull deepseek-r1:32b
7B 模型约 4.7GB 显存,8GB 显卡能跑;14B 需要 12GB 左右;32B 要 24GB 以上。
推理特点
R1 的卖点是链式思考——回答前会输出一段思考过程。Ollama 里可以看到 /think 标签内的推理链。这种”先想后答”让它在数学、逻辑题上的表现远超同参数模型。
实测
用本地 7B 蒸馏版跑一道逻辑题,它会先列条件、逐步排除,最后给答案。虽然不如满血版,但在本地零成本、离线可用的前提下,这个效果已经足够日常使用。
开源社区把前沿推理模型做到消费级硬件可跑,这件事本身就是开源精神的胜利。