DeepInfer

让 DeepSeek 大模型多卡高吞吐跑起来

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 10946

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队deepseek-ai

所属国家

官网地址

GitHubhttps://github.com/deepseek-ai/DeepInfer

定价模式free

价格说明开源免费，无官网定价信息

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型

GitHub 星标★ 10946

30天Star增速

HF 下载量

上线时间2026-10-16 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-21

浏览次数0

项目介绍

DeepInfer 是面向 DeepSeek 系列大模型的高性能大规模推理框架，用 Python 实现。它要解决的问题是：DeepSeek 这类 MoE 架构模型参数量大、上下文长，直接用通用推理引擎部署时显存占用高、吞吐低、多卡扩展困难。框架围绕 DeepSeek 的模型结构做了针对性优化，提供分布式并行推理、批处理调度、KV 缓存管理和量化支持等核心能力，让团队能在多机多卡环境里把 DeepSeek 模型跑起来并压出较高吞吐。它定位在基础设施层，适合做私有化部署、API 服务后端或大规模在线推理集群，而不是训练或微调工具。项目星标过万，属于该方向较受关注的工程实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：进阶约 20 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Linux 环境与 bash（README 使用 ./build.sh 构建）
Python 环境（项目为 Python 实现，README 未给出具体版本）
NVIDIA GPU 及配套驱动/CUDA（README 设置 DEEPINFER_ACCELERATOR=nvidia）
目标模型为 DeepSeek-V4.1-Flash（README 仅列出该模型）

安装与启动步骤

1克隆仓库

把 DeepInfer 源码从 GitHub 拉到本地，README 未给出其他安装包方式。
```
git clone https://github.com/deepseek-ai/DeepInfer.git
```
2进入项目目录

后续构建脚本与环境变量设置都在仓库根目录下执行。
```
cd DeepInfer
```
3指定加速器

README 要求把 DEEPINFER_ACCELERATOR 导出到运行 DeepInfer 的环境中。
```
export DEEPINFER_ACCELERATOR=nvidia
```
4执行构建脚本

运行仓库自带的 build.sh 完成编译构建，README 未列出额外依赖安装命令。
```
./build.sh
```
5开启 MTP 解码（可选）

启用 DSpark 变长草稿解码，并可调整最大草稿长度，默认 5。
```
export DEEPINFER_ENABLE_MTP_VARLEN=1
export DEEPINFER_USE_NEXTN_DECODE=5
```
6开启 SWA 重放（可选）

通过只重放有界后缀来减少 decoder prefill 计算量，README 给出默认参数值。
```
export DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact
export DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140
```

关键配置

配置项	必填	说明	示例
`DEEPINFER_ACCELERATOR`	是	指定推理使用的加速器后端，README 示例为 nvidia。	`nvidia`
`DEEPINFER_ENABLE_MTP_VARLEN`	否	启用基于草稿 token 与置信度调度的验证解码加速。	`1`
`DEEPINFER_USE_NEXTN_DECODE`	否	控制最大草稿长度，README 注明默认值为 5。	`5`
`DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE`	否	Decoder SWA 有界重放的截断模式，默认示例为 compact。	`compact`
`DEEPINFER_YOCO_PREFILL_KEEP_TOKENS`	否	SWA 重放时保留的 token 数量，README 默认值示例为 140。	`140`

如何确认成功

README 未提供启动服务或验证命令；build.sh 执行结束且无报错，即表示构建通过。

常见问题

Q：可以部署哪些模型？

A：README 的支持模型列表只给出 DeepSeek-V4.1-Flash，其他模型未声明支持。

Q：如何提升解码速度？

A：可设置 DEEPINFER_ENABLE_MTP_VARLEN=1 启用草稿 token 加速，并用 DEEPINFER_USE_NEXTN_DECODE 控制最大草稿长度。

Q：如何降低 decoder prefill 开销？

A：按 README 设置 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact 与 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140，只重放有界后缀。

Q：支持训练或微调吗？

A：不支持。该项目定位为推理框架，本次开源版本只提供离线推理能力。

Q：build.sh 无法执行怎么办？

A：先确认当前在仓库根目录且使用 bash 环境，可尝试 chmod +x build.sh 赋予执行权限后重试。

注意事项

README 的 Getting started 仅有环境变量与 build.sh，未给出启动服务、加载模型权重的完整命令，需查阅仓库内脚本与文档。
开源版本仅提供离线推理，不包含生产在线服务的全部能力。
环境变量需在运行 DeepInfer 的同一个环境中导出，否则不生效。
部分特性（MTP、SWA 重放）为可选开关，建议先按默认配置跑通再逐项开启。

核心亮点

针对 DeepSeek 的 MoE 结构做专门优化，不是通用引擎简单套壳
支持多机多卡分布式推理，面向大规模部署场景
提供批处理调度与 KV 缓存管理，关注实际吞吐表现

不足之处

强绑定 DeepSeek 系列模型，换其他模型适配成本高
文档/社区待观察

适用场景

企业私有化部署 DeepSeek 模型对外提供 API 服务
多卡集群上做高并发在线推理，压榨吞吐
作为推理后端接入自有 AI 应用或 Agent 系统

替代项目

vLLM、SGLang

上一篇：antirion

下一篇：没有了！