
tract
Rust 写的轻量推理引擎,直接跑 ONNX/TF 模型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 3134
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Rust 工具链(构建 Rust 库与运行 examples 所需)
- 一个 ONNX 或 NNEF 格式的模型文件,例如示例使用的 mobilenetv2-7.onnx
- 可选:Python 3 环境,用于安装 PyPI 上的 tract 包
- 可选:对应 GPU 后端时需具备 Metal(Apple)或 CUDA(NVIDIA)环境
安装与启动步骤
-
1安装 Rust 工具链
tract 是 Rust 库,先用 rustup 装好稳定版工具链,装完可用 cargo --version 自查。
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -
2获取源码与示例
克隆仓库后进入 README 指出的 onnx-mobilenet-v2 示例目录,示例都在 examples/ 下。
git clone https://github.com/sonos/tract.git cd tract/examples/onnx-mobilenet-v2 -
3准备模型文件
README 示例从当前工作目录加载 mobilenetv2-7.onnx,README 未给下载地址,需自行准备并放到该目录。
-
4按示例代码推理
用 tract::onnx() 加载模型,into_model() 后调用 runtime 的 prepare() 做优化编译,再 run 执行。
-
5运行示例
示例目录是可运行 demo,用 cargo 构建并运行;首次编译 Rust 依赖耗时较长。
cargo run --release -
6Python 方式试用
README 说明 Python 用户可直接用 PyPI 上名为 tract 的包,适合不想写 Rust 的验证场景。
pip install tract
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
模型路径 | 是 | 传给 load() 的模型文件名或路径,示例为当前目录下的 onnx 文件 | mobilenetv2-7.onnx |
runtime 名称 | 是 | 通过 runtime_for_name 选择推理后端,默认值为 CPU 实现 | default |
Cargo 依赖名 | 否 | 对外稳定的公开 API 只来自 crates.io 上的 tract crate | tract |
Python 包名 | 否 | PyPI 上发布的可安装包名 | tract |
如何确认成功
示例能成功加载 mobilenetv2-7.onnx、完成 prepare 并返回推理结果,过程中无报错或 panic。
常见问题
Q:应该选哪个 runtime?
A:README 列出 default(CPU,x86 与 ARM 的 SIMD 实现,也是默认值)、metal(Apple GPU)、cuda(NVIDIA GPU)以及 wasm32 目标,按硬件选对应名称即可。
Q:可以直接依赖 tract-core 或 tract-onnx 吗?
A:不建议。README 明确只有 tract crate 是权威公开 API,tract-core、tract-nnef、tract-onnx 等内部 crate 不属于稳定接口。
Q:支持哪些模型格式?
A:README 说明可加载 ONNX 与 NNEF 模型,并提到示例目录覆盖了 onnx-mobilenet-v2、tflite 等 demo,具体以 examples/ 下各目录为准。
Q:模型在一个平台优化后能换平台吗?
A:可以。所有 runtime 共用同一套 TypedModel 表示和加载器,README 说明在一个平台优化过的模型可迁移到另一个平台。
注意事项
- README 未给出具体版本号与 cargo add 命令,添加依赖时请以 crates.io 上 tract 的最新版本为准。
- 仓库内 examples/ 各目录是独立可运行示例,进入对应目录再构建。
- 如果只需要推理而不用 Rust,可优先尝试 PyPI 的 tract 包。
- GPU 后端需要额外启用对应 crate(tract-metal、tract-cuda),默认安装不会包含。
核心亮点
- 纯 Rust 实现,无 Python 依赖,可静态编译成单文件分发
- 自带 ONNX 与 TensorFlow 模型解析和图层优化,开箱即用
- 针对 x86/ARM 做 SIMD 优化,CPU 推理性能可观
不足之处
- 主要面向 CPU 推理,GPU 等加速后端支持有限
- 算子覆盖与最新模型格式的跟进速度不及主流框架
适用场景
- 在边缘设备或嵌入式环境中部署 ONNX 模型做本地推理
- 为 Rust 应用或 CLI 工具嵌入轻量模型推理能力
- 对二进制体积和启动速度敏感的模型服务场景
替代项目
onnxruntime、tch-rs、burn
上一篇:ninfer
同类项目推荐
aisbom
开源
给 AI 模型和数据集做“成分表”,让供应链透明可审计
Static security scanner for ML model files — detects pickle bombs, Keras Lambda RCE···
llm-scaler
开源
让大模型推理更快更省显存,本地部署也能跑得动
llm.report
开源
记录 OpenAI 调用日志,分析成本,优化提示词
llm.report is an open-source logging and analytics platform for OpenAI: Log your Cha···
sacremoses
开源
Moses 文本预处理工具一键迁移到 Python,让分词大小写规范化不再愁
Python port of Moses tokenizer, truecaser and normalizer
weightslab
开源
让 AI 工程师轻松搞定图像、视频、点云等杂乱数据
Monitoring platform for ML teams building real‑world AI at scale.
APIPark
开源
一个网关管所有AI大模型,统一接入、负载均衡、灾备无忧。
Cloud native, ultra-high performance AI&API gateway, LLM API management, distributio···
nim-anywhere
开源
一键部署 NVIDIA NIM,让生成式 AI 应用秒级落地
Accelerate your Gen AI with NVIDIA NIM and NVIDIA AI Workbench
datastoria
开源
AI 驱动 ClickHouse 诊断与查询优化,可视化一步到位
AI-native ClickHouse console for your cluster diagnostics and query generation, opti···
metabase
开源
让不懂 SQL 的同事也能轻松做数据分析,五分钟搭建团队 BI 看板
The easy-to-use open source Business Intelligence and Embedded Analytics tool that l···