onnxruntime-genai

ONNX 模型一键跑生成式 AI，跨平台多语言

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1137

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队microsoft

所属国家

官网地址

GitHubhttps://github.com/microsoft/onnxruntime-genai

定价模式free

价格说明开源免费（MIT许可证）

访问状态

是否开源是

开源协议MIT

主要语言C++

技术栈/模型

GitHub 星标★ 1137

30天Star增速

HF 下载量

上线时间2023-11-13 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-19

浏览次数0

项目介绍

onnxruntime-genai 是微软 ONNX Runtime 团队推出的生成式 AI 推理库，用 C++ 实现，为 ONNX 模型提供完整的生成式 AI 循环封装。它解决的核心问题是：开发者拿到 ONNX 格式的大模型后，还要自己实现 tokenize、KV cache 管理、采样、流式输出等繁琐逻辑。该库把这些环节统一封装成简洁 API，支持贪婪搜索、beam search、top-p/top-k 采样等解码策略，内置 KV cache 复用与批处理，可跨平台运行于 CPU、GPU（CUDA/DirectML）及移动端，并提供 Python、C#、Java 等多语言绑定。它适合需要在本地或边缘设备部署 LLM、SLM、多模态模型的场景，与 ONNX Runtime 生态无缝衔接，让非 Python 技术栈也能低成本接入生成式 AI 推理。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度：入门约 10 分钟部署方式：库/依赖 4 步

环境要求

Python 环境（README 未限定具体版本，建议用较新的 3.x）
可访问 Microsoft ORT-Nightly PyPI 源的网络（aiinfra.pkgs.visualstudio.com）
按目标硬件准备对应执行提供程序（CPU / CUDA / DirectML / OpenVINO / QNN 等）
待运行的生成式模型需为 ONNX 格式（支持 Llama、Phi、Qwen、Gemma、Whisper 等架构）

安装与启动步骤

1确认 Python 环境

先确认本机已装 Python 与 pip，后续安装通过 pip 完成；README 未限定具体 Python 版本。
```
python --version
pip --version
```
2从官方源安装库

README 给出的安装方式是从微软 ORT-Nightly 源安装 onnxruntime-genai；如需其他 Python 包名可替换末尾包名。
```
pip install --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-genai
```
3按官方文档补充安装

不同平台与硬件加速（CUDA、DirectML、OpenVINO、QNN 等）的安装差异，README 指向官方安装文档，按需查阅。
4需要时源码构建

预编译包不满足需求时，README 提供从源码构建的路径，需访问对应构建文档并按指南操作。
```
git clone https://github.com/microsoft/onnxruntime-genai.git
```

如何确认成功

执行 pip show onnxruntime-genai 能列出已安装版本信息，即表示安装成功。

常见问题

Q：直接 pip install onnxruntime-genai 找不到包或版本不对？

A：README 的安装命令指定了 --index-url 指向微软 ORT-Nightly 源，必须按原命令带该参数安装，默认 PyPI 源可能不满足。

Q：支持哪些模型和硬件？

A：README 支持矩阵列出 Llama、Phi、Qwen、Gemma、Whisper 等模型架构，以及 CPU、CUDA、DirectML、NvTensorRtRtx、OpenVINO、QNN、WebGPU 等加速后端。

Q：想用 C#、C++、Java 等其他语言怎么办？

A：该库提供 Python、C#、C/C++、Java 等 API 绑定，各语言的具体安装方式请参考 README 指向的官方安装文档。

Q：安装完成后如何了解详细用法？

A：README 将详细文档统一指向 onnxruntime.ai/docs/genai，安装、构建与使用说明均以该站点为准。

注意事项

README 中的命令使用 ORT-Nightly 源，属于夜间构建渠道，稳定性可能与正式发布版不同。
README 未给出具体版本号、端口或配置项，请以官方安装文档为准，勿自行假设参数。
模型需先转换为 ONNX 格式才能配合该库运行。
注意匹配硬件对应的执行提供程序，否则可能无法启用 GPU 加速。

核心亮点

把 tokenize、KV cache、采样、流式输出整套生成循环封装成少量 API，省去自研推理管线
支持贪婪、beam search、top-p/top-k 等多种解码策略，并内置批处理与 KV cache 复用
提供 Python/C#/Java 等多语言绑定，覆盖 CPU、CUDA、DirectML 与移动端，适合非 Python 技术栈

不足之处

项目星标约 1137，生态与示例丰富度相比 llama.cpp 等成熟方案仍有差距
模型需先转换为 ONNX 格式，转换链路与算子兼容性对新手有一定门槛

适用场景

在 Windows/.NET 桌面应用中本地集成 LLM 对话能力
边缘设备或移动端离线部署小语言模型做文本生成
用 C++ 服务端批量推理 ONNX 格式模型并流式返回结果

替代项目

llama.cpp、ONNX Runtime、vLLM

上一篇：runtime

下一篇：openvino.genai