tract

Rust 写的轻量推理引擎,直接跑 ONNX/TF 模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 307 🐛 待处理 130 👀 关注 39
GitHub ↗
GitHub 星标 ★ 3134
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,采用MIT/Apache许可证

项目预览

tract 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队sonos
定价模式🏷️完全免费
价格说明开源免费,采用MIT/Apache许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Rust
技术栈/模型artificial-intelligence,neural-networks,onnx,rust,rust-library,tensorflow
GitHub 星标★ 3134
上线时间2017-08-07 00:00:00
代码更新2026-11-21
仓库体积101.8 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

tract 是一个用 Rust 编写的轻量级、自包含神经网络推理库,支持加载和运行 TensorFlow 与 ONNX 模型。它解决的核心问题是:让模型推理摆脱对庞大 Python 深度学习框架的依赖,以单个 Rust 库的形式嵌入到应用、命令行工具或嵌入式设备中。核心能力包括:自带模型解析与图优化,无需外部运行时;支持 ONNX 与 TensorFlow 格式;提供 CPU 推理后端,并针对 x86 与 ARM 做了向量化优化;API 简洁,可静态链接,便于分发。项目强调“no-nonsense”,即不追求训练能力,只专注推理执行,适合对二进制体积、启动速度和部署简洁性有要求的工程场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 3134

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:库/依赖 6 步

环境要求

  • Rust 工具链(构建 Rust 库与运行 examples 所需)
  • 一个 ONNX 或 NNEF 格式的模型文件,例如示例使用的 mobilenetv2-7.onnx
  • 可选:Python 3 环境,用于安装 PyPI 上的 tract 包
  • 可选:对应 GPU 后端时需具备 Metal(Apple)或 CUDA(NVIDIA)环境

安装与启动步骤

  1. 1安装 Rust 工具链

    tract 是 Rust 库,先用 rustup 装好稳定版工具链,装完可用 cargo --version 自查。

    curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  2. 2获取源码与示例

    克隆仓库后进入 README 指出的 onnx-mobilenet-v2 示例目录,示例都在 examples/ 下。

    git clone https://github.com/sonos/tract.git
    cd tract/examples/onnx-mobilenet-v2
  3. 3准备模型文件

    README 示例从当前工作目录加载 mobilenetv2-7.onnx,README 未给下载地址,需自行准备并放到该目录。

  4. 4按示例代码推理

    用 tract::onnx() 加载模型,into_model() 后调用 runtime 的 prepare() 做优化编译,再 run 执行。

  5. 5运行示例

    示例目录是可运行 demo,用 cargo 构建并运行;首次编译 Rust 依赖耗时较长。

    cargo run --release
  6. 6Python 方式试用

    README 说明 Python 用户可直接用 PyPI 上名为 tract 的包,适合不想写 Rust 的验证场景。

    pip install tract

关键配置

配置项必填说明示例
模型路径是传给 load() 的模型文件名或路径,示例为当前目录下的 onnx 文件mobilenetv2-7.onnx
runtime 名称是通过 runtime_for_name 选择推理后端,默认值为 CPU 实现default
Cargo 依赖名否对外稳定的公开 API 只来自 crates.io 上的 tract cratetract
Python 包名否PyPI 上发布的可安装包名tract

如何确认成功

示例能成功加载 mobilenetv2-7.onnx、完成 prepare 并返回推理结果,过程中无报错或 panic。

常见问题

Q:应该选哪个 runtime?

A:README 列出 default(CPU,x86 与 ARM 的 SIMD 实现,也是默认值)、metal(Apple GPU)、cuda(NVIDIA GPU)以及 wasm32 目标,按硬件选对应名称即可。

Q:可以直接依赖 tract-core 或 tract-onnx 吗?

A:不建议。README 明确只有 tract crate 是权威公开 API,tract-core、tract-nnef、tract-onnx 等内部 crate 不属于稳定接口。

Q:支持哪些模型格式?

A:README 说明可加载 ONNX 与 NNEF 模型,并提到示例目录覆盖了 onnx-mobilenet-v2、tflite 等 demo,具体以 examples/ 下各目录为准。

Q:模型在一个平台优化后能换平台吗?

A:可以。所有 runtime 共用同一套 TypedModel 表示和加载器,README 说明在一个平台优化过的模型可迁移到另一个平台。

注意事项

  • README 未给出具体版本号与 cargo add 命令,添加依赖时请以 crates.io 上 tract 的最新版本为准。
  • 仓库内 examples/ 各目录是独立可运行示例,进入对应目录再构建。
  • 如果只需要推理而不用 Rust,可优先尝试 PyPI 的 tract 包。
  • GPU 后端需要额外启用对应 crate(tract-metal、tract-cuda),默认安装不会包含。

核心亮点

  • 纯 Rust 实现,无 Python 依赖,可静态编译成单文件分发
  • 自带 ONNX 与 TensorFlow 模型解析和图层优化,开箱即用
  • 针对 x86/ARM 做 SIMD 优化,CPU 推理性能可观

不足之处

  • 主要面向 CPU 推理,GPU 等加速后端支持有限
  • 算子覆盖与最新模型格式的跟进速度不及主流框架

适用场景

  • 在边缘设备或嵌入式环境中部署 ONNX 模型做本地推理
  • 为 Rust 应用或 CLI 工具嵌入轻量模型推理能力
  • 对二进制体积和启动速度敏感的模型服务场景

替代项目

onnxruntime、tch-rs、burn

上一篇:ninfer

下一篇:inference-cookbook-das

同类项目推荐

aisbom 开源

给 AI 模型和数据集做“成分表”,让供应链透明可审计

Static security scanner for ML model files — detects pickle bombs, Keras Lambda RCE···

★ 84 2026-08-09
llm-scaler 开源

让大模型推理更快更省显存,本地部署也能跑得动

★ 592 2026-09-16
llm.report 开源

记录 OpenAI 调用日志,分析成本,优化提示词

llm.report is an open-source logging and analytics platform for OpenAI: Log your Cha···

★ 1018 2026-08-09
sacremoses 开源

Moses 文本预处理工具一键迁移到 Python,让分词大小写规范化不再愁

Python port of Moses tokenizer, truecaser and normalizer

★ 496 2026-09-08
weightslab 开源

让 AI 工程师轻松搞定图像、视频、点云等杂乱数据

Monitoring platform for ML teams building real‑world AI at scale.

★ 182 2026-08-09
APIPark 开源

一个网关管所有AI大模型,统一接入、负载均衡、灾备无忧。

Cloud native, ultra-high performance AI&API gateway, LLM API management, distributio···

★ 1825 2026-08-09
nim-anywhere 开源

一键部署 NVIDIA NIM,让生成式 AI 应用秒级落地

Accelerate your Gen AI with NVIDIA NIM and NVIDIA AI Workbench

★ 288 2026-08-09
datastoria 开源

AI 驱动 ClickHouse 诊断与查询优化,可视化一步到位

AI-native ClickHouse console for your cluster diagnostics and query generation, opti···

★ 328 2026-08-09
metabase 开源

让不懂 SQL 的同事也能轻松做数据分析,五分钟搭建团队 BI 看板

The easy-to-use open source Business Intelligence and Embedded Analytics tool that l···

★ 50457 2026-08-29