reranker-tuning

重排模型调优：TopK、模型大小、领域微调与分数校准

补充说明

重排（reranking）在向量召回之后，用 cross-encoder 对 query 和候选文档逐对打分，把最相关的文档排到前面。它比双塔向量模型更准，但延迟更高，所以通常只处理 Top 20–100 个候选。重排的效果取决于召回候选质量、模型与领域匹配度、TopK 和分数阈值。

调优顺序：先保证召回有相关文档，再选重排模型，再调 TopK/批处理/阈值，最后考虑领域微调。不要用重排去弥补召回完全缺失的文档；也不要把重排分数直接当概率。

常用示例

# sentence-transformers CrossEncoder
from sentence_transformers import CrossEncoder

model = CrossEncoder("BAAI/bge-reranker-v2-m3", max_length=512)
pairs = [(query, doc) for doc in candidates]
scores = model.predict(pairs, batch_size=16)
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)[:5]

# TEI / Infinity 的 rerank 端点
curl http://localhost:8080/rerank \
  -H 'Content-Type: application/json' \
  -d '{"query":"磁盘满怎么排查","texts":["df -h 看分区","Pod 日志排查"]}'

# 领域微调：构造 (query, positive, negative) 三元组
# 用 MarginMSE / CrossEntropy 训练 cross-encoder
# 评估用 nDCG@5、MRR、Recall@5，不要只看 loss

调参起点：
- 召回 TopK：20–50 进重排，最终取 3–8 给 LLM
- batch size：按显存和 P95 延迟调
- 分数阈值：用标注数据校准，不要拍脑袋
- 模型大小：base 通常够用，large 更准但更慢

易错点与排错

• 召回没有相关文档：重排无法凭空生成答案；先修分块、embedding 和召回。
• TopK 太大：延迟线性增加，收益递减；用评估找拐点。
• 分数当概率：不同模型分数分布不同，固定阈值会误杀；用标注数据校准。
• 领域不匹配：通用重排模型对法律、医疗、代码等领域可能不如领域微调模型；先测再决定。
• 训练数据泄漏：训练集和评估集来自同一批文档/查询，指标虚高；按时间或文档切分。
• 长文档截断：cross-encoder 有最大长度，长块会被截断；按模型上限切块或摘要。
• 批处理与延迟：大 batch 提高吞吐但增加尾延迟；按 P95 而不是平均值调。
• 多语言问题：英文重排模型处理中文会下降；选多语言模型或中文模型。

相关命令

• reranker — 重排模型与 RAG 召回策略。
• text-embeddings-inference — TEI 的 rerank 端点。
• infinity — Infinity 的 rerank 服务。
• hybrid-search — 混合召回后再重排。
• embedding-models — 召回侧的模型选型。

参考链接

• Sentence Transformers CrossEncoder
• BGE Reranker 模型卡
• MTEB 检索评估

读完自测

合上页面，先回答，再展开对照。

1. 双塔向量模型和 cross-encoder 重排的区别是什么？
2. 为什么重排只处理 Top 20–100 个候选，而不是全量文档？
3. 重排分数能直接当相关性概率吗？