🏠 AI Tools Hub | 首页 | 文章 | 评测 | GitHub热门 | 排行榜

《深入理解 AI Infra》教程：一本免费开源的 LLM 系统设计书

📌 项目地址：github.com/bojieli/ai-infra-book | 星数：3,300+ | 协议：Apache-2.0 | 作者：李博杰

📋 项目简介

为什么同一个模型，别人部署的延迟是你的一半？为什么成本能差一个数量级？这本开源书回答的就是这类问题。《深入理解 AI Infra：量化分析与系统设计》是李博杰继 45k 星 《深入理解 AI Agent》之后的姊妹篇。作者的核心观点很有意思：模型成了 LLM 时代的操作系统，AI Infra 成了 LLM 时代的计算机体系结构。全书方法论是「从约束推导设计」——先明确任务与质量要求，列出计算、存储、通信和依赖关系，对照硬件容量、带宽和算力做数量级估算。作者反复追问五个问题：搬什么、搬多少、搬几次、经过哪里、谁必须等它（数据搬移是全书主线）。如果你在做推理部署优化，也可以搭配我们写过的 DeepSelect教程：DeepSeek官方TopK算子和 mjbatch教程：MuJoCo批量并行仿真，都是「从硬件约束榨性能」的同路人。

✨ 12 章内容速览

章	主题	主要问题
1	初识 AI Infra	一次生成需要多少显存、计算和数据读写？
2	模型架构	注意力、历史状态与专家结构如何改变系统需求？
3	推理与训练负载	任务阶段、到达模式和状态寿命如何影响资源？
4	加速器架构	计算、存储、带宽、功耗与成本如何取舍？
5-6	算子/超节点	融合复用与多设备协作如何减少开销？
7	数据中心网络	带宽、通信方式和拥塞如何影响计算效率？
8-9	推理优化/分布式推理	批处理、KV 管理、推测解码何时有效？
10-12	训练/调度/端边云	显存通信重算怎么安排？任务放本地还是云端？

🚀 获取方式

# 推荐：下载 XeLaTeX 排版 PDF（公式表格脚注完整）
# Releases 最新版直链：
https://github.com/bojieli/ai-infra-book/releases/latest/download/AI-Infra-Book.pdf

# 在线阅读（网页版）
https://bojieli.github.io/ai-infra-book/

# 配套实验仓库
experiments/ 目录：跟书做的量化实验

⚙️ 怎么读效率最高

先读第 1—3 章建立模型与负载的全景，再按角色选重点
做模型应用/推理服务：重点第 8、9 章，再看第 11、12 章；遇到容量、算子或通信问题回第 4—7 章追因
做系统/网络：重点第 5—7 章，再看第 9、10 章
做芯片/体系结构：重点第 4—7 章 + 后续任务算例
书稿仍是初稿持续修订中，发现问题可直接在 GitHub 提勘误

💡 使用建议

面试 LLM 系统岗前把第 8、9 章的估算题过一遍，是很好的查漏补缺
作者导师张霖涛博士的叮嘱贯穿全书：「优化一定要做到物理所允许的极限」——先按第一性原理算上限，再看实测差多远
书里大量讲存储与数据搬移，延伸阅读 walgit教程：Shopify CEO写的S3 git服务器，体会「存储即真相」的架构思想一脉相承

📚 常见问题

《深入理解 AI Infra》是什么书？

李博杰（bojieli）的开源技术书（GitHub 3.3k 星，Apache-2.0 协议），是 45k 星《深入理解 AI Agent：设计原理与工程实践》的姊妹篇。全书 12 章，从硬件约束和模型架构出发，量化推导 LLM 推理与训练系统设计，覆盖模型架构、推理与训练负载、加速器、算子与运行时、超节点、数据中心网络、推理优化、分布式推理、训练系统、资源调度与端边云协同。XeLaTeX 排版的 PDF 在 Releases 免费下载，每次更新 main 分支自动构建。

这本书适合谁读？

调用过模型 API 或在本机跑过模型，想弄清模型为什么慢、如何降低成本的工程师；以及从事系统、网络、芯片工作的工程师和相关方向的研究人员与学生。需要一些 Python、线性代数和计算机系统基础。作者建议先读第 1—3 章了解模型与负载，做模型应用重点读第 8、9 章，做系统或网络重点读第 5—7 章，做芯片重点读第 4—7 章。

为什么推荐下载 PDF 而不是在 GitHub 看 Markdown？

书中有大量公式、表格、脚注和交叉引用，GitHub 直接显示 Markdown 时 LaTeX 公式和部分排版常渲染不全或错位。PDF 由 XeLaTeX 排版，Releases 页面始终指向最新自动构建版本，阅读体验远好于网页版；GitHub 目录链接到各章 Markdown 源文件，便于查找原文和提交勘误。