📌 项目：https://github.com/hiyouga/LlamaFactory | 星数：75741 | 语言：Python | 协议：Apache-2.0 | 更新：2026-10-26
LlamaFactory是hiyouga开源的统一LLM微调框架，75.7k颗星，Python编写，ACL 2024论文。定位是"零代码微调100+大模型"——把Llama/Qwen/GLM/DeepSeek/Mistral/InternLM等主流开源LLM和VLM（视觉模型）的微调统一到一个框架，用WebUI点点选选完成，无需写训练脚本。微调是大模型落地的关键——通用模型不懂你的业务，用领域数据微调后变专家（客服/法律/医疗/代码）。但微调门槛高：要懂PyTorch/transformers/peft/数据格式/超参调优。LlamaFactory把这些全封装——准备数据（ShareGPT/Alpaca格式）→开WebUI→选模型/数据集/方法/超参→点开始→出LoRA权重。7.6万星+ACL论文背书说明它是微调工具的事实标准。
相关工具与方向，可参考Ai Coding Tools Comparison；Ai Coding Tools Ecosystem 2026；Ai Tools Buying Guide 2026 July。
100+模型与多种训练方法：LlamaFactory支持100+主流LLM（Llama 3/Qwen 2.5/GLM 4/DeepSeek/Mistral/InternLM/Yi/Baichuan等）和VLM（LLaVA/Qwen-VL等视觉模型）。训练方法覆盖：SFT监督微调（全参/LoRA/QLoRA）、DPO偏好对齐、RLHF人类反馈强化、PPO、持续预训练。LoRA/QLoRA让消费级显卡（单张24GB）微调7B-13B模型，全参微调需多卡。Day-N支持新模型发布后几天内适配前沿模型。
WebUI零代码与数据管理：LlamaFactory的杀手锏是WebUI——浏览器里完成全部微调流程。选模型（下拉100+）、选数据集（内置+自定义）、选方法（LoRA/QLoRA/全参/DPO）、设超参（学习率/epoch/batch size/截断长度，有推荐默认）、预览数据、开始训练、实时看loss曲线、导出权重。零代码降低门槛——研究员/产品/运营都能微调，不只算法工程师。数据管理支持ShareGPT/Alpaca/指令/多轮对话格式，内置示例数据集（alpaca_zh/dolly/omega等），也可上传自定义JSON。
分布式训练与生态：LlamaFactory支持单机多卡/多机多卡分布式训练（DeepSpeed/FSDP后端），全参微调70B模型可行。训练监控集成TensorBoard/Weights&Biases看loss/梯度/学习率。导出的LoRA权重可合并进基座模型（Ollama/vLLM/transformers加载），也可单独部署。支持模型评估（MMLU/C-Eval基准）。命令行模式支持CI/CD自动化训练pipeline。ACL 2024论文保证学术严谨性，工业可用。
| ✅ 优势 | ❌ 劣势 |
|---|---|
| 100+模型覆盖最广 | 全参微调需多卡 |
| WebUI零代码降门槛 | WebUI高级超参仍需懂 |
| LoRA/QLoRA/DPO/全参全支持 | 长序列训练显存吃紧 |
| 分布式多卡训练 | 评估基准不如专业工具 |
| ACL论文背书 | 文档对新模型更新有滞后 |
100+模型：Llama 3/3.1、Qwen 2.5/3、GLM 4/5、DeepSeek V3、Mistral、InternLM、Yi、Baichuan等LLM，LLaVA/Qwen-VL等VLM。LoRA微调：7B单张24GB（4090），13B单张24GB（QLoRA），70B需4-8张24GB。全参微调：7B需2-4张24GB，70B需8+张80GB（A100/H100）。QLoRA量化让小卡也能微调大模型（慢但可行）。
装好后跑llamafactory-cli webui，浏览器打开。界面分四栏：模型（下拉选，自动下载）、数据集（内置+上传）、训练（选LoRA/全参/DPO，设超参，有推荐默认值）、预览/导出。填好点Start，实时看loss曲线。训练完导出LoRA权重（几十MB），可合并进基座模型用Ollama/vLLM部署。全程不写一行代码。复杂需求仍可命令行自定义。
LoRA权重是差量（几十MB），三种方式部署：1）合并到基座模型导出完整权重，用Ollama/vLLM/transformers加载（兼容性最好）；2）用Peft库加载基座+LoRA（省存储但需代码）；3）转成GGUF量化格式跑在llama.cpp/Ollama（CPU/边缘部署）。LlamaFactory提供导出脚本一键转格式。评估可用内置MMLU/C-Eval基准或自定义测试集。建议微调前后对比基准确认效果提升。