onnxruntime

一次导出模型，多端高效跑推理

开源 🏷️完全免费 ⏳ 访问状态待核验基础设施 🍴 复刻 4361 🐛 待处理 1818 👀 关注 264

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 22162

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费（MIT），官网提供文档与下载入口

项目预览

onnxruntime 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队microsoft

官网地址https://onnxruntime.ai

GitHubhttps://github.com/microsoft/onnxruntime

定价模式🏷️完全免费

价格说明开源免费（MIT），官网提供文档与下载入口

访问状态⏳ 访问状态待核验

是否开源是

开源协议MIT

主要语言C++

技术栈/模型ai-framework,deep-learning,hardware-acceleration,machine-learning,neural-networks,onnx,pytorch,scikit-learn,tensorflow

GitHub 星标★ 22162

上线时间2018-11-10 00:00:00

代码更新2026-10-24

仓库体积1.51 GB

本站数据更新2026-10-25

维护状态活跃

收录时间2026-10-25

浏览次数0

项目介绍

ONNX Runtime 是微软开源的跨平台机器学习推理与训练加速引擎，核心解决模型训练框架与部署环境割裂的问题：把 PyTorch、TensorFlow、scikit-learn 等导出的 ONNX 模型统一加载，并在不同硬件上高效执行。它提供 CPU、GPU 及多种专用加速器的执行提供器，内置图优化、算子融合、量化与内存复用等优化，支持 Python、C++、C#、Java、JavaScript 等多语言 API，可嵌入服务端、桌面、移动端与边缘设备。除推理外还支持分布式训练与模型转换工具链，并与主流框架生态互通。项目以 C++ 实现，性能与可移植性兼顾，适合需要一次导出、多端部署的工程团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-25 · 当前星标 ★ 22162

技术标签

ai-framework deep-learning machine-learning neural-networks onnx

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可运行 Python、C++、C#、Java 或 JavaScript 之一的开发环境（按目标语言选择）
待推理的模型需先导出为 ONNX 格式（如由 PyTorch、TensorFlow/Keras、scikit-learn 导出）
Windows、Linux 或 macOS 等常见操作系统；使用 GPU 等加速器时需准备对应的硬件与驱动

安装与启动步骤

1确认使用场景

先区分是推理还是训练：推理用于加载已导出的 ONNX 模型执行预测，训练用于加速 PyTorch 脚本训练。
2查阅官方文档

README 未给出安装命令，安装方式按语言和平台各不相同，请以官方文档的安装章节为准。
3克隆示例仓库

README 指向了配套示例仓库，可先克隆推理示例对照学习；也可克隆主仓库查看源码。
```
git clone https://github.com/microsoft/onnxruntime-inference-examples.git
```
4准备 ONNX 模型

用现有框架导出 ONNX 模型文件，作为后续加载和推理的输入；训练场景则准备原有 PyTorch 训练脚本。
5按语言接入运行

依据目标语言选择对应的 API 与安装方式，参照官方文档与示例工程完成模型加载并执行一次推理。