llamaindex

LlamaIndex 数据索引与 RAG

补充说明

LlamaIndex 面向 RAG 和数据索引，提供文档加载、分块、索引、检索、查询引擎和 Agent。适合把私有数据接入大模型。

核心概念：Document、Node、Index、Retriever、QueryEngine、VectorStoreIndex。

常用示例

安装：

pip install llama-index llama-index-vector-stores-qdrant

构建索引：

from llama_index.core import SimpleDirectoryReader, VectorStoreIndex

documents = SimpleDirectoryReader("./docs").load_data()
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
print(query_engine.query("如何排查磁盘满？"))

持久化：

index.storage_context.persist(persist_dir="./storage")

加载已有索引：

from llama_index.core import StorageContext, load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)

易错点与排错

• 文档分块大小和重叠设置不合理，检索召回差。
• embedding 模型与索引时不一致，查询结果无关。
• 索引持久化后没有加载 storage，重启后重建。
• 大量文档一次性构建索引，内存和 API 费用高。
• 元数据过滤字段没有写入，检索时无法过滤。
• QueryEngine 的 similarity_top_k 太小，答案缺少上下文。
• 中文文档需要合适的分词和 embedding 模型。
• 版本升级后索引格式变化，需要重新构建。