onnxruntime-inference-examples

官方示例照着跑，模型推理快速落地

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 418 🐛 待处理 186 👀 关注 37

GitHub ↗

GitHub 星标 ★ 1701

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费

项目预览

onnxruntime-inference-examples 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队microsoft

GitHubhttps://github.com/microsoft/onnxruntime-inference-examples

定价模式🏷️完全免费

价格说明开源免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

GitHub 星标★ 1701

上线时间2021-04-09 00:00:00

代码更新2026-10-22

仓库体积501.3 MB

本站数据更新2026-10-25

维护状态活跃

收录时间2026-10-25

浏览次数0

项目介绍

这是微软 ONNX Runtime 官方维护的推理示例集合，用 C++ 等多种语言演示如何在不同平台和场景下加载并运行 ONNX 模型。项目解决的是开发者从训练完成到实际部署推理之间的落地问题：ONNX Runtime 本身是跨平台推理引擎，但接口多、配置项杂，新手容易卡在环境搭建和 API 调用上。该仓库按场景组织示例，覆盖 C++、C#、Python、Java 等语言绑定，包含基础推理、移动端与嵌入式部署、量化与图优化、自定义算子、多执行提供器（CPU、CUDA、TensorRT、OpenVINO 等）切换、与 OpenCV 等库配合做图像预处理等典型用法。每个示例通常配有可直接编译运行的代码和说明，帮助开发者快速验证模型、对比不同后端性能，并作为自己项目的起点模板。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 1701

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 20 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

已安装 Git，可从 GitHub 克隆仓库
C/C++ 示例对应 Linux 或 Windows 环境（README 提供两平台 CI 徽章）
JavaScript 示例需要能运行 JS 的环境（README 未给版本）
移动端示例需要对应的移动应用开发环境

安装与启动步骤

1克隆示例仓库

将官方示例集合下载到本地，后续所有操作都在该目录内进行。
```
git clone https://github.com/microsoft/onnxruntime-inference-examples.git
```
2进入仓库目录

切换工作目录到仓库根目录，便于查看各示例子目录。
```
cd onnxruntime-inference-examples
```
3查看示例列表

README 表格列出 c_cxx、mobile、js、quantization 四类示例，先确定要跑哪一类。
```
ls -la
```
4选择并进入示例目录

按需求进入对应子目录，如只看 C/C++ 推理示例就进入 c_cxx。
```
cd c_cxx
```
5阅读示例内说明

各示例目录内附有自己的说明文件，编译命令、参数和模型获取方式以该说明为准。
```
ls -la
```
6按说明编译运行

仓库根目录 README 未给出统一安装或编译命令，需按所选示例目录内的说明执行。