dynamo

把大模型推理做成数据中心级集群服务

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 1755 🐛 待处理 2155 👀 关注 81

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 8382

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源框架，免费使用

项目预览

项目数据

分类基础设施

开发团队ai-dynamo

官网地址https://docs.nvidia.com/dynamo/latest

GitHubhttps://github.com/ai-dynamo/dynamo

定价模式🏷️完全免费

价格说明开源框架，免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Rust

技术栈/模型diffusion,disaggregated-serving,kubernetes,llm-inference,omni,routing-engine,rust,sglang,tensorrt-llm,vllm

GitHub 星标★ 8382

上线时间2025-03-03 00:00:00

代码更新2026-10-24

仓库体积824.3 MB

本站数据更新2026-10-25

维护状态活跃

收录时间2026-10-25

浏览次数0

项目介绍

Dynamo 是面向数据中心规模的分布式推理服务框架，用 Rust 编写，目标是把大语言模型、扩散模型等推理负载组织成可横向扩展的服务集群。它解决单机推理难以支撑高并发、多模型、异构硬件混部的问题，核心能力包括解耦式服务（prefill/decode 分离）、请求路由引擎、对 vLLM、SGLang、TensorRT-LLM 等主流推理后端的统一编排，以及基于 Kubernetes 的部署与调度。项目强调在数据中心级别做资源池化，让不同模型与不同算力节点协同工作，提升吞吐与利用率，同时保持对现有推理引擎的兼容，降低迁移成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 8382

技术标签

diffusion kubernetes llm-inference rust sglang

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 30 分钟部署方式：云服务 7 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Linux 环境（README 示例为 Ubuntu 24.04），具备 sudo 权限
Rust 工具链（通过 rustup 安装）
Python 3 与 uv 包管理器
可用的 Kubernetes 集群及 kubectl，用于应用部署清单
推理后端所需 GPU 环境（vLLM、SGLang、TensorRT-LLM 等）

安装与启动步骤

1安装系统依赖

编译 Dynamo 需要 C/C++ 构建工具、hwloc、udev、protobuf 与 clang 等开发库，按 README 的 Ubuntu 24.04 命令一次性安装。
```
sudo apt install -y build-essential libhwloc-dev libudev-dev pkg-config libclang-dev protobuf-compiler python3-dev cmake
```
2安装 Rust 工具链

用 rustup 安装 Rust 并加载环境变量，之后 cargo 命令才可用；如已安装可跳过。
```
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh && source $HOME/.cargo/env
```
3安装 uv 包管理器

README 的 PyPI 安装路线要求先装 uv，脚本安装后需重开终端或手动加载 PATH。
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```
4克隆项目仓库

克隆后可获得 recipes（模型配方）、examples（示例）与 docs 文档目录，便于按模型选择部署方案。
```
git clone https://github.com/ai-dynamo/dynamo.git
cd dynamo
```
5从 PyPI 安装

README 说明可通过 PyPI 安装 dynamo，但未给出具体包名与安装参数，请以官方文档 docs.nvidia.com/dynamo 给出的命令为准。
6编写部署清单

零配置部署只需声明模型、推理后端和 SLA 目标，Dynamo 自动完成资源编排与参数选择。
7应用清单到集群

确保 kubectl 已指向可用的 Kubernetes 集群，再应用上述清单；autoApply 为 true 时资源会被自动应用。
```
kubectl apply -f dynamo-deployment.yaml
```

关键配置

配置项	必填	说明	示例
`metadata.name`	是	部署请求资源名称，自定义即可	`my-model`
`spec.model`	是	要部署的模型 ID，可换成自己的目标模型	`Qwen/Qwen3-0.6B`
`spec.backend`	是	推理后端类型，README 支持 vllm、sglang、tensorrt-llm	`vllm`
`spec.sla.ttft`	否	首 token 延迟目标，单位毫秒，用于自动选型与调度	`200.0`
`spec.sla.itl`	否	token 间延迟目标，单位毫秒	`20.0`
`spec.autoApply`	否	设为 true 时请求提交后自动应用部署	`true`