用 Rust 跑 ONNX 模型，推理训练一把梭
ort 是一个基于 Rust 的 ONNX 模型推理与训练库，它封装了微软的 ONNX Runtime，为 Rust 开发者提供了高性能的机器学习推理能力。该项目解决了 Rust 生态中缺乏成熟 ONNX 支持的问题，让开发者能够用纯 Rust 代码加载和运行 ONNX 格式的模型，而无需依赖 Python 或 C++。其核心能力包括支持 CPU、CUDA、TensorRT 等多种执行后端，提供灵活的图形优化选项，并支持模型微调（fine-tuning）和训练。通过类型安全的 API 和内存管理，ort 在保证性能的同时，也提升了开发效率和代码安全性。它适用于需要将机器学习模型集成到 Rust 服务、嵌入式系统或高性能计算场景中的开发者，是连接 Rust 与 ONNX 模型生态的重要桥梁。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1准备 Rust 环境
ort 是 Rust 库，需要 Cargo 构建工具链；若命令报错，请先安装 Rust（rustup.rs）。
cargo --version2创建 Rust 项目
新建一个项目作为集成 ort 的入口；已有 Rust 项目可直接跳过这一步。
cargo new ort-demo
cd ort-demo3添加 ort 依赖
crate 名为 ort；README 中 API 文档指向 2.0.0-rc.13，说明当前 v2 仍是预发布版，实际版本以 crates.io 为准。
cargo add ort4准备 ONNX 模型
ort 用来加载 ONNX 格式模型，可来自 PyTorch/TensorFlow/Keras/scikit-learn/PaddlePaddle 导出的文件。
5查官方指南与示例
README 未给出安装与调用命令，启用执行后端、图形优化等具体写法请查阅官网 Guide 与仓库 examples。
README 未提供验证方式；按官方 Guide 或 examples 跑通示例，能加载模型并得到推理结果即算成功。
Q：用 ort 还需要装 Python 或 ONNX Runtime 吗？
A：README 说明 ort 是微软 ONNX Runtime 的 Rust 封装，用纯 Rust 代码即可加载运行 ONNX 模型，无需依赖 Python 或 C++ 代码。
Q：支持哪些硬件加速？
A：README 称支持几乎所有硬件加速器，并提供 CPU、CUDA、TensorRT 等多种执行后端，具体清单见官网 execution providers 页面。
Q：v1.x 升级到 v2.0 怎么迁移？
A：README 提供了专门的迁移文档入口 ort.pyke.io/migrating/v2，升级前建议先通读该指南（注意 v2 仍为 RC 版本）。
Q：从哪里开始接入？
A：README 列出了 Guide、API reference（docs.rs/ort）、Examples 三个入口，建议先用 examples 里的示例代码跑通再改造。
tract、rust-bert、candle
ort 是基础设施领域的开源项目，由 pykeio 开发，2022 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（2,526）位列前 30%，在基础设施分类中处于中上游。
近 42 天，它的 GitHub 星标从 2,446 增加到 2,526，净增 80。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0 许可证，完全免费，无付费版本。
它主要面向的使用场景是：在Rust后端服务中集成AI推理，如推荐系统或图像识别。同类可对比的替代方案包括 tract、rust-bert、candle。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···