openllm

OpenLLM 模型服务化

补充说明

OpenLLM 用一条命令把开源大模型包装成 OpenAI 兼容 API，支持 vLLM、Transformers 等后端、LoRA adapter 和 Kubernetes 部署。适合快速验证和内部服务。

核心命令：openllm serve、openllm build、openllm chat。

常用示例

安装：

pip install openllm

启动服务：

openllm serve qwen2.5:7b-instruct \
  --backend vllm \
  --port 3000

调用：

curl http://localhost:3000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen2.5:7b-instruct","messages":[{"role":"user","content":"你好"}]}'

加载 LoRA adapter：

openllm serve qwen2.5:7b-instruct \
  --adapter-id my-org/qwen-lora

构建容器镜像：

openllm build qwen2.5:7b-instruct --containerize

易错点与排错

• 模型名称和 tag 不在 OpenLLM 支持列表，解析失败。
• vLLM 后端版本与模型架构不兼容，改用 transformers。
• LoRA adapter 的 base model 不匹配，加载时报维度错误。
• 多卡参数没有传给后端，仍然单卡运行。
• 模型缓存目录没有挂载，容器重启后重复下载。
• 服务端口和健康检查配置不一致，K8s 探针失败。
• 生产环境没有认证和限流，容易被滥用。
• 升级 OpenLLM 后模型别名变化，客户端需要同步。