llama-server

llama.cpp 推理服务

补充说明

llama-server 是 llama.cpp 自带的 HTTP 服务，支持 GGUF 量化模型、CPU/GPU 混合推理和 OpenAI 兼容接口。适合边缘设备、本地部署和低资源环境。

常用示例

编译 llama.cpp：

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build -j

启动服务：

./build/bin/llama-server \
  -m models/qwen2.5-7b-instruct-q4_k_m.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 8192 -ngl 99

调用：

curl http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"local","messages":[{"role":"user","content":"你好"}]}'

控制 GPU 层数：

./build/bin/llama-server -m model.gguf -ngl 35

使用多线程：

./build/bin/llama-server -m model.gguf -t 8

易错点与排错

• -ngl 设置过高，显存不足导致加载失败。
• GGUF 量化格式与 llama.cpp 版本不兼容。
• 上下文长度 -c 超过模型训练上限，输出质量下降。
• CPU 推理线程数超过物理核心，性能反而下降。
• 没有启用 --flash-attn 或后端不支持，长上下文很慢。
• 模型文件损坏或下载不完整，加载时报 magic 错误。
• 服务没有认证，公网暴露后可被任意调用。
• 容器内缺少 CUDA 运行库，GPU 层数不生效。