🏠 AI Tools Hub | 首页 | 文章 | 评测 | GitHub热门 | 排行榜

Zero to SGLang 教程：Datawhale 出品 LLM 推理课程，从手写 mini-sglang 到给 SGLang 提 PR

📋 课程简介

大模型竞赛的重心正在从训练转向推理：应用起飞之后，推理的成本和延迟才是真瓶颈——同一块 GPU，好的推理引擎能扛下数倍的请求。但推理引擎的学习资料长期缺位：要么停在概念层不碰代码，要么直接把人丢进 SGLang 源码里迷路。zero-to-sglang 由 Datawhale 联合 SGLang 团队 RadixArk 出品，思路是"先造一个，再读懂真的"：前半程从推理的本质问题讲起，中段亲手搭一个 mini-sglang，最后带着你读真实 SGLang 源码、落地第一个 PR。2026 年 8 月底开仓，三周 900+ 星。

🗺️ 三段式学习路径

第一段：推理到底是怎么回事。从核心问题出发——为什么 KV Cache 存在、prefill 和 decode 有什么不同、compute-bound（算力瓶颈）与 memory-bound（显存瓶颈）各自意味着什么。这些是读任何推理引擎代码前的地基。

第二段：从零手写 mini-sglang。课程的核心环节，功能一个个加上去：

forward pass（前向计算）与 token 生成
KV Cache（缓存注意力键值，避免重复计算）
HTTP serving（包成 API 服务）
Continuous Batching（连续批处理，请求随到随拼）
Paged KV Cache（分页管理显存，参考 vLLM 的经典思路）
RadixAttention（SGLang 的招牌：基数树复用多轮对话间的前缀缓存）

第三段：回到真实 SGLang。讲解它那些前沿优化是怎么实现的，并指导你完成第一个像样的 PR——从课程到开源贡献的闭环。

系统性地补 LLM 基础设施知识，还可搭配AI Infra Book：LLM系统设计指南食用；同期的思维硬核训练见Anthropic费马大定理Lean形式化项目教程。

🚀 上手路径

git clone https://github.com/datawhalechina/zero-to-sglang.git
# 在线阅读：datawhalechina.github.io/zero-to-sglang/eng/
# 中文版：仓库内 README_zh.md
# 课程结构：Part 0 概论 → Part I 推理基础 → 手写 mini-sglang → SGLang 源码 → PR 实战

课程提供中英双语 README 与在线阅读站点，Part 0 与 Part I 英文版已就绪、其余部分持续更新中。想参与共建的，仓库的 Contributing 章节列了待办与协作方式。

⚖️ 协议与使用注意

CC BY-NC-SA 4.0：署名、非商业使用、相同方式共享——转载需注明出处并保持同协议，商用需另行获得授权
课程进行时：Parts II-IV 开发中，跟着更新节奏学，或从 Contributing 里领一块内容参与写作
前置要求：Python 熟练 + 基本的深度学习概念；GPU 需求取决于动手章节的实验设置，无卡可先学原理篇

✅ 适合谁

推理方向求职者：SGLang/vLLM 团队面试的高频考点（KV Cache、Continuous Batching、Paged KV）在这里全部有代码级实践
开源贡献入门者：从 mini 版平滑过渡到真实引擎，课程终点就是第一个 PR
应用层开发者：理解推理引擎的调度机制，才能把上游成本打下来

📚 常见问题

zero-to-sglang是什么课程？适合谁学？

datawhalechina/zero-to-sglang（912星，Python）是Datawhale与RadixArk联合出品的LLM推理实战课程，中英双语。定位是填补推理引擎教程的空白：市面教程要么停留在概念层不碰代码，要么直接把人丢进SGLang源码无从下手。适合有Python基础、想理解大模型推理内部机制或想给SGLang等开源推理引擎贡献代码的开发者。

课程具体学什么内容？

三段式结构：前半部分从推理核心问题出发——为什么需要KV Cache、prefill和decode的区别、compute-bound和memory-bound各是什么意思；中段从零手写一个mini-sglang，按forward pass→生成→KV Cache→HTTP服务→Continuous Batching→Paged KV Cache→RadixAttention的顺序逐个功能叠加；最后回到真实SGLang，讲解其前沿优化的具体实现，并指导你落地第一个靠谱的PR。

课程完成度如何？是什么协议？

截至2026年9月：Part 0和Part I英文版已可用，Parts II-IV开发中，简体中文版可随时切换阅读，支持在线阅读（datawhalechina.github.io/zero-to-sglang）。内容采用CC BY-NC-SA 4.0协议——署名、非商业使用、相同方式共享，商业使用需另行授权。