nndeploy

一套代码搞定多端AI推理，省心又高效

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 230 🐛 待处理 23 👀 关注 34

GitHub ↗

GitHub 星标 ★ 1897

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0许可证，完全免费，无付费版本。

项目预览

项目数据

分类开源模型

开发团队nndeploy

GitHubhttps://github.com/nndeploy/nndeploy

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0许可证，完全免费，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言C++

技术栈/模型ai,ascend,deep-learning,deployment,diffusers,genai,llm,low-code,low-code-platform,mnn,no-code,onnxruntime,openvino,python,pytorch,tensorrt,transformer,workflow

GitHub 星标★ 1897

上线时间2023-08-08 00:00:00

代码更新2026-08-15

仓库体积76.5 MB

本站数据更新2026-11-08

维护状态维护中

收录时间2026-08-09

浏览次数4

项目介绍

nndeploy 是一款专注于 AI 模型部署的 C++ 框架，旨在解决深度学习模型从训练到生产环境落地时面临的碎片化问题。它提供统一的推理接口，屏蔽了不同后端（如 TensorRT、ONNX Runtime、OpenVINO 等）的差异，让开发者只需编写一次代码即可在不同硬件上运行。核心能力包括多端推理、模型转换、性能优化和动态图支持，强调易用性与高性能的平衡。通过模块化设计，用户可灵活组合预处理、推理和后处理流程，降低部署复杂度。项目处于成长阶段，文档和示例逐步完善，适合需要快速集成多硬件推理的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1897

技术标签

ai deep-learning deployment diffusers genai

使用教程

难度：入门约 10 分钟部署方式：库/依赖 7 步

环境要求

Python 3.10 或更高版本
可用的 pip 包管理环境
浏览器，用于访问可视化工作流编辑器
更多推理后端（超出默认的 ONNXRuntime、MNN）需采用开发者模式

安装与启动步骤

1安装 nndeploy

使用 pip 升级安装 nndeploy，默认包含 ONNXRuntime 与 MNN 推理后端。
```
pip install --upgrade nndeploy
```
2启动可视化界面

用命令行方式启动工作流编辑器，并指定监听端口为 8000。
```
nndeploy-app --port 8000
```
3代码方式启动(可选)

若不使用命令行方式，可进入 nndeploy 目录用 app.py 启动，端口同样为 8000。
```
cd path/to/nndeploy
python app.py --port 8000
```
4打开工作流编辑器

启动成功后浏览器访问本地 8000 端口，可拖拽节点、调参并实时预览。
5保存工作流 JSON

在界面中搭建调试完成后点击保存，工作流会导出为 JSON 文件。
6命令行运行工作流

生产环境中可用 Python CLI 加载 JSON 工作流运行，C++ 版命令为 nndeploy_demo_run_json。
```
nndeploy-run-json --json_file path/to/workflow.json
```

7代码中加载运行

也可在 Python 代码中加载 JSON 工作流，适合集成进现有项目，注意替换真实路径。

graph = nndeploy.dag.Graph("")
graph.remove_in_out_node()
graph.load_file("path/to/llm_workflow.json")
graph.init()
input = graph.get_input(0)
text = nndeploy.tokenizer.TokenizerText()
text.texts_ = ["<|im_start|>user\nPlease introduce NBA superstar Michael Jordan<|im_end|>\n<|im_start|>assistant\n"]
input.set(text)
status = graph.run()
output = graph.get_output(0)
result = output.get_graph_output()
graph.deinit()

关键配置

配置项	必填	说明	示例
`--port`	否	可视化界面监听端口，示例为 8000	`8000`
`--json_file`	是	工作流 JSON 文件路径，供命令行运行使用	`path/to/workflow.json`