vLLM 与 SGLang 怎么选

结论先行

需要成熟生态、广泛模型支持、稳定 OpenAI 兼容服务和多卡张量并行，优先 vLLM。需要极致前缀缓存复用、多轮对话、结构化输出和更低延迟，优先 SGLang。

两者都属于高吞吐推理框架，差距更多在具体模型、负载和版本，而不是绝对优劣。

核心差异

怎么选

• 新模型刚发布就要上线：vLLM 通常跟进更快。
• 多轮对话和长 system prompt：SGLang 的前缀缓存收益大。
• 需要大量 JSON/正则约束输出：SGLang 更顺手。
• 多机多卡、复杂并行：vLLM 经验更多。
• 团队已有 vLLM 运维体系：不要为了小幅性能切换。
• 对首 token 延迟和缓存命中极敏感：压测对比 SGLang。

注意

• 两者的 benchmark 结果高度依赖模型、batch、输入输出长度和 GPU。
• 前缀缓存对多轮对话有效，对每次完全不同的请求收益有限。
• 量化格式支持不同，切换前确认模型和量化方式。
• 都要配置健康检查、限流和监控。
• 版本升级可能改变默认调度策略，回归测试必不可少。

相关命令

• vllm — 高吞吐推理
• sglang — 前缀缓存推理
• tgi — Hugging Face 推理
• lmdeploy — TurboMind 推理
• ollama-vs-vllm — 本地与生产选型