📌 项目：https://github.com/deepseek-ai/DeepInfer | 星数：7522 | 语言：Python | 协议：Apache-2.0 | 更新：2026-10-18
DeepInfer是deepseek-ai官方开源的DeepSeek大模型高性能推理框架，7522颗星，Python编写，Apache-2.0协议。DeepSeek系列模型（V3、R1、MoE等）以极低的训练成本和接近GPT-4的能力震动业界，但模型本身只是权重文件，要让它在生产环境以低延迟、高吞吐服务大量并发请求，需要一套工程化的推理框架。DeepInfer做的就是这件事——它封装了从模型加载、KV缓存管理、连续批处理（continuous batching）、张量并行到API服务的完整链路。框架原生支持DeepSeek的MoE路由优化（专家负载均衡、专家并行）、MLA多头潜在注意力机制的显存优化，以及R1推理模型的思维链流式输出。相比直接用vLLM跑DeepSeek，DeepInfer在DeepSeek自家模型上有针对性优化，吞吐可提升30-50%。
大模型推理优化方向值得关注，DeepSeek模型集成可参考DeepSeek Bot Harness指南；推理框架系统学习可看Zero to SGLang LLM推理课程，演进式推理可参考EvoVLM演进推理指南。
DeepSeek模型原生优化：DeepInfer针对DeepSeek的模型架构做了深度优化。MoE（混合专家）层支持专家并行（expert parallelism），把不同专家分布到多卡，路由计算和专家计算用CUDA流异步重叠隐藏通信延迟。MLA（多头潜在注意力）用低秩键值压缩，把KV缓存大小压缩到传统MHA的四分之一，长上下文场景显存占用大幅下降。R1推理模型支持思维链token流式输出，前端可以实时展示推理过程而非只给最终答案。框架还内置了DeepSeek的分词器、chat template和对话格式，开箱即用无需额外配置。
连续批处理与PagedAttention：DeepInfer实现了continuous batching（连续批处理），新请求不必等当前batch完成，而是动态插入到正在生成的batch中，GPU利用率从传统static batching的40%提升到90%以上。PagedAttention把KV缓存按页管理（类似操作系统的虚拟内存分页），消除显存碎片，允许不同长度请求共享batch。配合前缀缓存（prefix caching），相同system prompt的多个请求共享缓存的KV，首token延迟下降60%。框架还支持speculative decoding（投机解码），用小模型生成候选token大模型验证，吞吐再提升约2倍。
多卡分布式与服务化：DeepInfer支持张量并行（TP）和流水线并行（PP）两种多卡分布式策略，TP适合单机多卡（NVLink高速互联），PP适合跨机多卡（带宽较低场景）。框架自带OpenAI兼容的API服务（/v1/chat/completions），支持流式和非流式响应、函数调用、JSON模式输出。监控面板实时显示QPS、延迟分布、显存占用、KV缓存命中率。框架还支持量化部署（INT8/INT4），单卡4090即可跑DeepSeek-V3的量化版，降低了部署门槛。Python插件机制允许注入自定义的前处理、后处理逻辑，满足业务定制需求。
| ✅ 优势 | ❌ 劣势 |
|---|---|
| Apache-2.0协议商用友好 | 深度优化仅限DeepSeek模型 |
| 连续批处理GPU利用率90%+ | 多卡分布式配置较复杂 |
| MLA显存优化长上下文友好 | 量化精度损失需评估 |
| 前缀缓存首token延迟低60% | 监控面板功能不如vLLM全 |
| INT4量化单卡可部署 | 文档相对简略需看源码 |
两者都是大模型推理框架，但DeepInfer是deepseek-ai官方维护，针对DeepSeek模型架构（MoE/MLA）做了原生优化，在DeepSeek模型上吞吐比vLLM高30-50%。vLLM是通用框架支持更多模型。如果你的生产环境只跑DeepSeek模型，DeepInfer更优；如果要多模型混部，vLLM更灵活。两者也可以配合使用。
原始DeepSeek-V3是671B参数MoE模型，需要多张H100。但DeepInfer支持INT4量化，把模型压缩到约180GB，理论上可以用2-3张4090通过CPU offload方式跑，但速度较慢。更实际的做法是用DeepSeek官方提供的蒸馏小模型（DeepSeek-R1-Distill-Qwen-7B/14B），单卡4090流畅运行。
配置文件里设置enable_prefix_caching为true即可。框架会自动对请求的system prompt和公共前缀做哈希索引，相同前缀的请求复用已计算的KV缓存。注意：如果system prompt里包含动态变量（如当前时间戳），会破坏缓存命中率，建议把动态部分放到user message而非system prompt。