LLM Wiki 教程:把文档堆变成自动生长的互联知识库

📌 项目日期:2026年9月 | 数据来源:GitHub官方仓库 | 星数:18.7k+

📋 项目简介

llm_wiki(18.7k 星)是一个跨平台桌面应用,实现 Karpathy 提出的 LLM Wiki 模式:不是临时切块检索的 RAG,而是让 LLM 增量地把你的文档持久化成互联 wiki——PDF、代码库、论文、书、视频统统变成 Markdown 知识页,自动生成页面间的关联链接,形成可视化知识图谱。它还能发现"意外关联"和"知识缺口",一键发起 Deep Research 深挖。类似的知识管理思路可以对比我们写过的 Semantica 语义驱动自动化知识管理教程

✨ 核心特性

特性说明
两步 CoT 生成先分析源文档、再生成 wiki 页面,质量显著优于单步
SHA256 增量缓存只重新生成变过的文件,重复导入零成本
持久 Ingest 队列崩溃自动恢复、失败重试,批量导入不慌
知识图谱4 信号加权(直接链接×3.0/源重叠×4.0/Adamic-Adar×1.5/类型亲和×1.0)+ Louvain 社区发现
Graph Insights发现意外连接、孤立页面、知识缺口,一键 Deep Research
混合检索分词(中文 CJK bigram)→ LanceDB 向量 → 2-hop 图扩展 → token 预算控制
多格式解析PDF(可选 MinerU)、DOCX、PPTX、XLSX、EPUB/MOBI、图片、音视频、网页
Chrome Web ClipperReadability.js+Turndown 一键剪藏网页,Alt+Shift+L 快捷键
Obsidian 兼容wiki 目录即 vault,直接用 Obsidian 打开
MCP + Agent Skill本地 HTTP API(127.0.0.1:19828) + MCP server,AI 助手可查询

🏗️ 工作原理

源文件夹/PDF/网页 → 两步 CoT 生成
   (1.分析文档  2.生成 wiki 页)
        ↓ SHA256 增量缓存(未变文件跳过)
   持久 Wiki 页面(Markdown,人可编辑)
        ↓
   ┌────────────┬──────────────┐
   │  知识图谱    │  检索管线     │
   │  4信号加权   │  分词搜索     │
   │  社区发现    │  向量(LanceDB)│
   │  缺口检测    │  2-hop 图扩展 │
   └────────────┴──────────────┘
        ↓
   带引用 [1][2] 的组装答案 / Deep Research

🚀 安装

# 普通用户:Releases 页面下载预构建包
#   macOS: .dmg | Windows: .msi | Linux: .deb / .AppImage

# 给 AI 编码助手装查询技能(可选)
npx skills add https://github.com/nashsu/llm_wiki_skill.git --skill llm-wiki

# 开发者源码构建(Node 20+ / Rust 1.88+ / protoc)
npm install
npm --prefix mcp-server ci
npm run mcp:build
npm run tauri build

💡 使用建议

📚 常见问题

llm_wiki 和传统 RAG 知识库有什么区别?

传统 RAG 每次问答都临时切块、检索、拼上下文;llm_wiki 则用 LLM 增量地把文档持久化成 Markdown wiki 页面——每个源文件对应一页摘要+要点+关联链接,生成一次反复使用,还能人手编辑修正。检索时四路信号(分词、向量、图扩展、源重叠)合流,中文用 CJK bigram 分词。

支持哪些文件格式?

PDF(内置 pdf-extract,可选 MinerU Cloud/Local 增强解析)、DOCX、PPTX、XLSX/ODS、EPUB/MOBI、图片、音视频、网页剪藏(Chrome Web Clipper 扩展)、文件夹批量导入与自动监控。wiki 目录本身与 Obsidian 完全兼容。

如何安装?

普通用户直接去 GitHub Releases 下载预构建安装包:macOS .dmg、Windows .msi、Linux .deb/AppImage。开发者可源码构建,需要 Node 20+、Rust 1.88+、protoc,然后 npm install、npm --prefix mcp-server ci、npm run mcp:build、npm run tauri build。GPL-3.0 协议。