RAG 生产上线检查清单

使用方式

RAG 上线前，先用这份清单确认数据、检索、生成、评测、可观测性和安全都已闭环。RAG 的问题往往不是模型不够强，而是文档质量、分块和检索召回不合格。

在预发环境用真实问题集跑一遍，记录召回率、答案正确率和延迟，再决定是否上线。

检查清单

1. 数据与解析

• 文档来源、更新频率和权限已梳理。
• PDF/Word/HTML/扫描件有稳定的解析方案。
• 表格、图片、页眉页脚和乱码已处理。
• 文档去重、版本和删除同步机制。
• 敏感信息在入库前脱敏。

2. 分块与索引

• 分块大小、重叠和边界策略经过评测。
• 标题、段落和表格结构被保留。
• embedding 模型与向量库维度一致。
• 元数据（来源、时间、权限）写入并可过滤。
• 索引重建和增量更新流程可执行。

3. 检索

• 有真实问题集和标注的相关文档。
• 召回率、MRR、命中率有基线。
• 向量检索与关键词/混合检索按需组合。
• top-k、阈值和重排序经过调优。
• 无结果时的兜底策略明确。

4. 生成

• prompt 明确要求基于检索内容回答。
• 答案带引用来源，便于核对。
• 无依据时拒答，不编造。
• 长上下文截断和 token 预算可控。
• 输出格式和业务字段校验。

5. 评测

• 有离线评测集，覆盖常见/长尾/对抗问题。
• 评估召回、忠实度、相关性和完整性。
• 每次模型/分块/prompt 变更都跑回归。
• 人工抽检和线上反馈闭环。
• 评测结果可追溯到版本。

6. 可观测性与成本

• 记录 trace：检索文档、prompt、模型、token、延迟。
• 监控 QPS、错误率、首 token 延迟和成本。
• 记录用户反馈和低分答案。
• 向量库和 LLM 调用有超时、重试和降级。
• 按租户/应用分摊成本。

7. 安全与权限

• 文档权限在检索层生效，不能只靠前端过滤。
• 多租户数据隔离。
• prompt 注入和越权访问有防护。
• 输出敏感信息过滤。
• API 有认证、限流和审计。

常见误区

• 只换更大的模型，不治理文档和分块。
• 用几个 demo 问题判断效果，没有评测集。
• 检索返回很多文档但没有重排序，答案被噪声淹没。
• 不记录引用，用户无法核对，出错也无法定位。
• 权限只在前端做，向量库仍能召回无权文档。
• 没有成本监控，长上下文和重复 embedding 费用失控。

相关条目

• ragflow — RAG 引擎
• dify — LLM 应用平台
• fastgpt — 知识库问答
• langchain — 应用编排
• llamaindex — 数据索引
• docling — 文档解析
• qdrant — 向量库
• pgvector — PostgreSQL 向量
• langfuse — LLM 可观测性
• ai-infra-roadmap — AI 基础设施路线图