PrivateGPT教程：57.5k星本地私有AI，RAG+Skills+Tools全离线运行

📌 项目：zylon-ai/private-gpt | 星数：57.5k（2026-09-25） | 协议：Apache-2.0 | 语言：Python | GitHub

一句话定位："完整的本地私有AI——RAG、Skills、Tools、Agent全离线运行，数据零泄露。" PrivateGPT提供完整的API层让AI应用在本地运行，支持文档问答、工具调用和技能扩展，所有数据和模型不离开你的机器。

🔒 私有架构

PrivateGPT的私有架构核心：

• 本地LLM：支持Ollama、HuggingFace、localai、llama.cpp等多种本地模型后端
• 本地Embedding：文档向量化也在本地完成，不发送任何数据到外部API
• 本地向量库：使用Qdrant或Chroma存储向量，完全本地
• API层：提供OpenAI兼容的REST API，现有应用可无缝切换

这让PrivateGPT适合处理敏感文档（法律、医疗、企业内部）。和 Docling 做文档处理不同，PrivateGPT是完整的私有AI应用层。

🚀 快速开始

# 安装
git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt
pip install -r requirements.txt

# 配置Ollama作为后端
# settings.yaml:
llm:
  mode: ollama
embedding:
  mode: ollama
vectorstore:
  mode: qdrant

# 启动
python private_gpt/main.py

# API使用（OpenAI兼容）
curl http://localhost:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"总结上传的文档"}]}'

🔧 RAG+Skills+Tools

PrivateGPT不只是RAG——它是完整的AI应用层：

• RAG：上传文档（PDF/Word/TXT/Markdown），自动分块、向量化、检索增强生成
• Skills：可扩展的技能系统，每个技能封装特定能力
• Tools：工具调用，让AI执行外部操作（搜索、API调用等）
• Agent：多步推理，自主规划任务步骤

⚖️ 优缺点