sglang

SGLang 高吞吐推理框架

补充说明

SGLang 通过 RadixAttention 复用前缀缓存，适合多轮对话、结构化输出和高并发推理。提供 OpenAI 兼容 API，可与 vLLM 对比选型。

常用示例

安装：

pip install "sglang[all]"

启动服务：

python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 --port 30000

调用 OpenAI 兼容接口：

curl http://localhost:30000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"你好"}]}'

多卡张量并行：

python -m sglang.launch_server \
  --model-path Qwen/Qwen2.5-72B-Instruct \
  --tp 4 --port 30000

启用结构化输出：

curl http://localhost:30000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Qwen/Qwen2.5-7B-Instruct","messages":[{"role":"user","content":"返回 JSON"}],"response_format":{"type":"json_object"}}'

易错点与排错

• --tp 与 GPU 数量不匹配，启动失败。
• 模型路径写错或没有下载完整权重。
• 前缀缓存命中率低，多轮对话没有复用相同前缀。
• 长上下文请求占满 KV Cache，其他请求排队。
• 没有设置 --mem-fraction-static，显存预留不合理。
• 结构化输出语法写错，模型返回不符合 schema。
• 与 vLLM 的 API 参数不完全一致，客户端需要适配。
• 多卡通信和网卡配置不当，吞吐低于单卡线性扩展预期。