nndeploy

环境要求

• Python 3.10 或更高版本
• 可用的 pip 包管理环境
• 浏览器，用于访问可视化工作流编辑器
• 更多推理后端（超出默认的 ONNXRuntime、MNN）需采用开发者模式

安装与启动步骤

1. 1安装 nndeploy

   使用 pip 升级安装 nndeploy，默认包含 ONNXRuntime 与 MNN 推理后端。

   pip install --upgrade nndeploy

   复制

2. 2启动可视化界面

   用命令行方式启动工作流编辑器，并指定监听端口为 8000。

   nndeploy-app --port 8000

   复制

3. 3代码方式启动(可选)

   若不使用命令行方式，可进入 nndeploy 目录用 app.py 启动，端口同样为 8000。

   cd path/to/nndeploy
   python app.py --port 8000

   复制

4. 4打开工作流编辑器

   启动成功后浏览器访问本地 8000 端口，可拖拽节点、调参并实时预览。

5. 5保存工作流 JSON

   在界面中搭建调试完成后点击保存，工作流会导出为 JSON 文件。

6. 6命令行运行工作流

   生产环境中可用 Python CLI 加载 JSON 工作流运行，C++ 版命令为 nndeploy_demo_run_json。

   nndeploy-run-json --json_file path/to/workflow.json

   复制

7. 7代码中加载运行

   也可在 Python 代码中加载 JSON 工作流，适合集成进现有项目，注意替换真实路径。

   graph = nndeploy.dag.Graph("")
   graph.remove_in_out_node()
   graph.load_file("path/to/llm_workflow.json")
   graph.init()
   input = graph.get_input(0)
   text = nndeploy.tokenizer.TokenizerText()
   text.texts_ = ["<|im_start|>user
   Please introduce NBA superstar Michael Jordan<|im_end|>
   <|im_start|>assistant
   "]
   input.set(text)
   status = graph.run()
   output = graph.get_output(0)
   result = output.get_graph_output()
   graph.deinit()

   复制

关键配置

如何确认成功

启动后浏览器打开 http://localhost:8000，能看到可视化工作流编辑器即表示启动成功。

常见问题

注意事项

• 命令中的 path/to/... 为示例路径，实际使用时请替换为真实文件路径
• 生产环境可直接加载界面导出的 JSON 工作流，无需重新搭建流程
• 更多推理后端需采用开发者模式，默认仅含 ONNXRuntime 与 MNN