multimodal-rag

多模态 RAG：把 PDF 版面、表格、图片和音频一起检索与引用

补充说明

多模态 RAG 处理的不仅是纯文本，还包括 PDF 里的表格/图片、扫描件、截图、音频和视频。难点在解析和表示：OCR/版面分析会丢结构，图片需要视觉 embedding，表格要保留行列语义，音频要先转写。检索时可以用文本、图像或混合向量，生成时把文本和图片一起交给多模态模型。

典型链路：文档解析（Docling/OCR）→ 结构保留 → 分块/图像抽取 → 文本 embedding + 图像 embedding → 多向量检索 → 重排 → 多模态生成与引用。它比纯文本 RAG 更贵、更复杂，只在业务确实需要图表/扫描件时使用。

常用示例

# Docling：解析 PDF，保留标题、表格、图片
from docling.document_converter import DocumentConverter

converter = DocumentConverter()
result = converter.convert("manual.pdf")
doc = result.document
markdown = doc.export_to_markdown()

# 图像 embedding（CLIP 类模型）
from sentence_transformers import SentenceTransformer
from PIL import Image

model = SentenceTransformer("clip-ViT-B-32")
text_vec = model.encode(["设备面板上的红色指示灯"])
image_vec = model.encode([Image.open("panel.png")])

# 多向量写入向量库：文本块和图片各一条记录，共享文档/页码元数据
record = {
    "id": "manual-p12-img1",
    "vector": image_vec[0].tolist(),
    "payload": {"doc_id": "manual", "page": 12, "type": "image",
                "caption": "设备面板示意图", "tenant_id": 42},
}

生成时把检索到的文本块和图片一起放入多模态模型上下文，
要求回答附带文档名、页码和图片编号，便于人工核对。

易错点与排错

• OCR 错误直接进入索引：扫描件识别错字会导致召回和答案错误；关键文档要人工抽检或双引擎校对。
• 版面丢失：PDF 转纯文本会打乱表格、双栏和多级标题；用版面感知解析，保留阅读顺序。
• 图片没有 caption：纯图像向量难以解释和过滤；为图片生成描述/标签，和图像向量一起存。
• 表格切碎：表格按行切分后失去表头；整表成块或转成结构化 Markdown。
• 图像分辨率不当：太低识别不了细节，太高浪费显存；按模型输入尺寸预处理。
• 模态向量空间不匹配：文本和图像向量要来自同一 CLIP/多模态模型，否则不能直接比较。
• 引用不完整：生成时只给文本不给页码/图号，用户无法核对；元数据要贯穿检索和生成。
• 成本失控：多模态解析、embedding 和生成都更贵；先限定文档类型和高价值场景。

相关命令

• docling — PDF/文档解析与结构化。
• comfyui — 图像生成与工作流。
• whisper — 音频转写。
• milvus-ops — 多向量/混合检索运维。
• chroma-ops — 轻量向量库。
• rag-security — 多模态内容的注入与越权风险。

参考链接

• Docling 文档
• Milvus 多模态检索
• CLIP 论文
• Sentence Transformers 图像嵌入

读完自测

合上页面，先回答，再展开对照。

1. 多模态 RAG 相比纯文本 RAG 多了哪些处理步骤？
2. 为什么表格不能按普通文本块切分？
3. 文本和图像向量能直接用不同模型生成后比较吗？