LangChain RAG知识库搭建教程：从零构建企业级问答系统

什么是LangChain RAG

LangChain RAG（Retrieval-Augmented Generation）是一种结合检索和生成的大模型应用架构。它通过从外部知识库检索相关文档，将检索结果作为上下文传入大模型，从而让AI能够基于私有数据回答问题，避免幻觉问题。

RAG核心流程

1. 文档加载：使用DocumentLoader加载TXT、PDF、Markdown等文件
2. 文本分割：用TextSplitter将长文档切分为语义完整的文本块
3. 嵌入向量化：调用Embedding模型将文本块转为向量
4. 向量存储：将向量存入向量数据库（如Milvus、Chroma）
5. 检索问答：用户提问时检索相关文档块，传入LLM生成答案

环境安装

pip install langchain langchain-community langchain-text-splitters
pip install chromadb pypdf openai

1. 加载文档

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("knowledge.pdf")
docs = loader.load()
print(f"加载了 {len(docs)} 页文档")

2. 文本分割

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", " "]
)
chunks = splitter.split_documents(docs)
print(f"分割为 {len(chunks)} 个文本块")

3. 创建向量存储

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

4. 构建问答链

from langchain.chains import RetrievalQA
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(search_kwargs={"k": 3})
)

answer = qa_chain.invoke({"query": "你的问题"})
print(answer["result"])

嵌入模型选择建议

• text-embedding-ada-002（OpenAI）：1536维，英文为主
• text-embedding-v4（阿里DashScope）：1024维，中文效果好
• bge-large-zh（智源）：开源免费，中文场景推荐

提示：向量维度越高语义表达越细腻，但存储和计算成本也越高。中文场景优先选择国产嵌入模型。

生产环境优化建议

• 使用cosine similarity作为相似度计算方式
• 设置chunk_size=500, overlap=50平衡上下文完整性和检索精度
• 对用户查询做query rewriting提升检索命中率
• 添加引用来源标注，增强答案可信度

更多AI知识库方案可以参考我们的Dify私有RAG知识库教程和AnythingLLM知识库搭建指南。