ollama

Ollama 本地大模型运行

补充说明

Ollama 用一条命令拉取和运行开源大模型，内置模型管理、OpenAI 兼容 API 和 GPU 加速。适合本地开发、原型验证和内网私有部署。

常用示例

启动服务：

ollama serve

拉取并运行模型：

ollama pull qwen2.5:7b
ollama run qwen2.5:7b

查看本地模型：

ollama list
ollama show qwen2.5:7b

调用 API：

curl http://localhost:11434/api/generate \
  -d '{"model":"qwen2.5:7b","prompt":"解释一下 OOM","stream":false}'

OpenAI 兼容接口：

curl http://localhost:11434/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"你好"}]}'

自定义模型：

cat > Modelfile <<'EOF'
FROM qwen2.5:7b
PARAMETER temperature 0.2
SYSTEM 你是一名 Linux 运维专家。
EOF
ollama create ops-assistant -f Modelfile

限制并发和显存：

OLLAMA_NUM_PARALLEL=2 OLLAMA_MAX_LOADED_MODELS=1 ollama serve

易错点与排错

• 模型太大超出显存，Ollama 回退到 CPU，速度骤降。
• OLLAMA_HOST=0.0.0.0 未设置，容器外无法访问。
• 默认 11434 端口暴露公网且没有认证，存在滥用风险。
• 模型名称和 tag 写错，拉取时提示 not found。
• 多个模型同时加载，显存不足导致频繁换入换出。
• Modelfile 的 FROM 指向本地不存在的模型。
• 代理或镜像源不稳定，拉取大模型超时。
• 容器内没有 GPU 驱动，ollama ps 显示 100% CPU。

读完自测

合上页面，先回答，再展开对照。

1. 模型超出显存时 Ollama 会怎样？
2. 容器外无法访问 Ollama API，先检查什么？
3. 把默认的 11434 端口直接暴露公网有什么风险？