infinity

Infinity 嵌入服务：多模型、高吞吐的 embedding 与 rerank HTTP 服务

补充说明

Infinity 是一个面向 embedding 和 reranking 的高吞吐推理服务，支持 GPU/CPU、动态批处理、多模型和 OpenAI 兼容 API。它适合给 RAG、语义搜索和推荐系统提供统一的向量化入口，和 TEI 属于同类工具，但在多模型托管和 API 形态上有所不同。

Infinity 负责加载模型、批处理请求和返回向量/分数；文档切分、向量库、检索编排仍由业务或 RAG 框架负责。选型时比较模型支持范围、API 兼容性、批处理效率、部署复杂度和社区维护情况。

常用示例

# 启动服务，指定模型和端口
infinity_emb v2 --model-id BAAI/bge-m3 --port 7997

# 指定设备和批处理大小
infinity_emb v2 --model-id BAAI/bge-m3 --device cuda --batch-size 32

# Docker 方式
docker run -p 7997:7997 \
  -v /models:/app/.cache \
  michaelfeil/infinity:latest \
  v2 --model-id BAAI/bge-m3

# OpenAI 兼容的 embeddings 端点
curl http://localhost:7997/embeddings \
  -H 'Content-Type: application/json' \
  -d '{"model":"BAAI/bge-m3","input":["磁盘满怎么排查","Pod 一直重启"]}'

# 重排
curl http://localhost:7997/rerank \
  -H 'Content-Type: application/json' \
  -d '{"model":"BAAI/bge-reranker-v2-m3","query":"磁盘满","documents":["df -h","Pod 日志"]}'

# 查看已加载模型
curl http://localhost:7997/models

多模型场景可以在启动时注册多个模型，按请求里的 model 字段路由；上线前确认显存能否同时容纳所有模型，或使用按需加载。

易错点与排错

• 模型不支持：Infinity 依赖 sentence-transformers/特定架构，先查支持列表；自定义模型要确认 tokenizer、 pooling 和维度。
• OpenAI SDK 字段不兼容：不同版本的 /embeddings 对 input、model、encoding_format 的支持不同；用实际请求验证，不要假设和 OpenAI 完全一致。
• 多模型显存超限：每个模型都占显存，加载多个大模型会 OOM；按需加载、限制并发或拆成多个实例。
• 批处理参数不合适：batch size 太小浪费吞吐，太大增加尾延迟和显存峰值；按 P95 延迟和吞吐压测。
• 向量维度/归一化不一致：换模型后向量维度变化，已有索引失效；确认是否归一化，避免相似度口径错误。
• 重排分数阈值未校准：不同 reranker 的分数分布不同，直接套用固定阈值会误杀；用标注数据校准。
• 容器模型缓存路径错误：容器重启后重新下载模型，启动变慢；挂载缓存目录并确认权限。
• 把 Infinity 当向量数据库：它不存向量、不做过滤和持久化；存储和检索用 Qdrant、Milvus、pgvector 等。

相关命令

• text-embeddings-inference — Hugging Face 的同类嵌入服务。
• reranker — 重排模型与 RAG 召回。
• transformers — 本地加载 embedding 模型。
• huggingface-cli — 下载模型与分词器。
• vllm — 生成式模型的 OpenAI 兼容服务。

参考链接

• Infinity GitHub
• Infinity 文档
• Sentence Transformers 模型

读完自测

合上页面，先回答，再展开对照。

1. Infinity 和 TEI 的定位有什么相同和不同？
2. 多模型部署时最容易遇到的资源问题是什么？
3. 为什么换 embedding 模型后已有向量库可能失效？