Ollama 与 vLLM 怎么选

结论先行

本地开发、单机试用、快速验证模型效果，选 Ollama：安装简单、模型管理方便、CPU/GPU 都能跑。生产环境、多并发、高吞吐推理，选 vLLM：连续批处理、PagedAttention、张量并行和 OpenAI 兼容服务更成熟。

两者不是互斥关系：开发用 Ollama，预发/生产用 vLLM 是常见组合。

核心差异

怎么选

• 只是验证 prompt、做本地助手：Ollama。
• 需要给多个业务方提供统一推理 API：vLLM。
• 单卡 7B/14B、并发不高：Ollama 足够。
• 70B 多卡、长上下文、高并发：vLLM。
• 需要量化模型和吞吐压测：vLLM。
• 边缘设备、无 GPU 或 GPU 很小：Ollama + GGUF。
• 已经用 Hugging Face 权重和 Transformers 生态：vLLM 接入更顺。

注意

• Ollama 的默认并发和显存策略不适合直接暴露给生产流量。
• vLLM 启动参数（max-model-len、gpu-memory-utilization）设置不当会 OOM。
• 两者都默认无认证，公网部署必须加网关、鉴权和限流。
• 用同一套评测集对比吞吐、首 token 延迟和输出质量，不要只看单条速度。
• 模型量化后效果可能下降，生产前做业务评测。

相关命令

• ollama — 本地模型运行
• vllm — 高吞吐推理
• tgi — Hugging Face 推理服务
• sglang — 前缀缓存与结构化输出
• lm-eval — 模型评测