📌 项目日期：2026年11月 | 数据来源：GitHub官方仓库 | 星数：108,085+
Sebastian Raschka 的《Build a Large Language Model (From Scratch)》是LLM时代的经典教材，这个仓库是其官方代码仓库（10.8万星）：从零开发、预训练、微调一个 GPT 类 LLM——用 PyTorch 从地基开始一层层搭建，每个阶段都有清晰的文字、图解与示例。书中训练小型教育模型的方法，复刻了ChatGPT类模型的训练路径。
中文社区的轻量训练工程对照：MiniMind。学完训练再看部署与系统化：AI系统设计指南。
| 阶段 | 内容 |
|---|---|
| 开发 | 逐层构建GPT架构（注意力/块/词元化） |
| 预训练 | 在文本语料上预训练基础模型 |
| 微调 | 分类任务微调 + 指令遵循微调 |
git clone https://github.com/rasbt/LLMs-from-scratch.git
# 按notebook顺序逐章学习
# 配套书：Build a Large Language Model (From Scratch)Sebastian Raschka著作《Build a Large Language Model (From Scratch)》官方代码仓库（10.8万星）：从零开发、预训练、微调一个GPT类LLM——逐层构建，清晰文字+图解+示例讲解每个阶段。
书中训练"小而可用"的教育模型的方法，复刻了ChatGPT类模型使用的路径——学的是真工艺不是玩具。
MiniMind是中文社区的轻量训练工程（快速跑通）；LLMs-from-scratch是Raschka的系统教材（理解每个组件为什么这样设计）——学习深度选后者，工程速度选前者。