hybrid-search

混合检索：BM25 与向量召回融合，兼顾关键词精确命中与语义泛化

补充说明

纯向量检索擅长语义相似，但对产品型号、错误码、人名、缩写等精确词不敏感；BM25/全文检索擅长精确匹配，但不懂同义表达。混合检索把两路结果融合，常见做法是 RRF（Reciprocal Rank Fusion）或归一化后加权求和，再交给 reranker 精排。

适合混合检索的场景：技术文档、错误码、日志、商品/SKU、法律条款、代码搜索。不适合：纯口语问答、向量召回已经足够且延迟敏感的场景。混合检索会增加索引、查询和运维复杂度，先用评估证明收益。

常用示例

# Qdrant：向量 + 稀疏向量/全文的混合查询（按版本支持）
from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")
results = client.query_points(
    collection_name="docs",
    prefetch=[
        models.Prefetch(query=dense_vector, using="dense", limit=50),
        models.Prefetch(query=models.SparseVector(indices=[1, 7], values=[0.8, 0.2]),
                        using="sparse", limit=50),
    ],
    query=models.FusionQuery(fusion=models.Fusion.RRF),
    limit=10,
    query_filter=models.Filter(must=[models.FieldCondition(
        key="tenant_id", match=models.MatchValue(value=42))]),
)

# LangChain：BM25 + 向量 retriever 融合
# LangChain 1.x：EnsembleRetriever 已移至 langchain-classic
from langchain_classic.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever

bm25 = BM25Retriever.from_documents(docs)
vector = vectorstore.as_retriever(search_kwargs={"k": 10})
hybrid = EnsembleRetriever(retrievers=[bm25, vector], weights=[0.4, 0.6])

RRF 公式：score(d) = Σ 1 / (k + rank_i(d))，k 常取 60
优点：不需要归一化不同检索器的分数；缺点：忽略分数差距

易错点与排错

• 直接相加 BM25 和向量分数：两者尺度不同，会被某一侧支配；用 RRF 或先归一化再调权重。
• 只调权重不看评估：权重不是拍脑袋；用标注查询集测 recall@k、MRR、nDCG。
• 过滤条件不一致：两路检索的租户/权限过滤必须一致，否则融合后可能泄漏；过滤放在检索层，不要只在后处理。
• 结果重复：同一文档被两路召回，融合后要去重；按文档 ID 合并。
• 延迟翻倍：两路检索 + 融合 + 重排会叠加延迟；设置每路候选数上限，必要时并行请求。
• 索引不同步：全文索引和向量索引更新节奏不同，可能出现新旧结果混杂；用统一写入管线或版本标记。
• 中文分词/分析器配置错误：BM25 对分词敏感，错误分词会让精确词也命中不了；用业务词表验证。
• 混合检索不是万能：如果评估显示纯向量已经足够，不要为了“架构完整”增加复杂度。

相关命令

• vector-db-selection — 向量库选型与过滤。
• reranker-tuning — 融合后的精排。
• langchain — EnsembleRetriever 与 RAG 编排。
• qdrant — Qdrant 混合查询。
• opensearch — 全文与向量混合检索。
• milvus-ops — Milvus 多向量与稀疏向量。

参考链接

• Qdrant 混合检索
• OpenSearch 混合搜索
• RRF 论文
• LangChain EnsembleRetriever

读完自测

合上页面，先回答，再展开对照。

1. 什么类型的查询最能体现混合检索的价值？
2. RRF 相比“归一化后加权求和”有什么优缺点？
3. 两路检索的过滤条件为什么必须一致？