项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 690
使用教程
环境要求
- Python 3.10+
- 已训练的模型文件
- 目标平台的编译工具链
安装与启动步骤
-
1安装编译器
pip 装完得到 timber-accel 命令行。
pip install timber-compiler -
2拿一个已训练模型
支持树模型、线性模型与 ONNX,先用 xgboost 或 sklearn 模型试。
-
3编译成目标平台代码
target 指定指令集,sign 表示对产物签名。
timber-accel compile --model fraud.pkl --target x86_64_avx2_simd --sign --out ./dist -
4跑基准对比
仓库自带基准脚本,对比编译前后的延迟。
python benchmarks/run_benchmarks.py --output benchmarks/results.json -
5渲染对比表
把结果渲染成表格便于汇报。
python benchmarks/render_table.py --input benchmarks/results.json
如何确认成功
编译产物生成且基准显示延迟下降
注意事项
- 目标指令集要匹配部署机器,选高了会在旧 CPU 上崩。
- 签名产物换机器要同步分发公钥。
核心亮点
- AOT 编译生成原生 C99 代码,彻底消除 Python 运行时开销,推理性能提升显著
- 支持主流经典模型格式(XGBoost、LightGBM、sklearn、CatBoost、ONNX),覆盖面广
- 命令行操作极简,加载和部署只需两条命令,学习成本低
不足之处
- 项目处于早期,文档和社区生态尚不完善,遇到问题可参考资源有限
- 仅支持经典模型,不涵盖深度学习模型,适用场景有局限
适用场景
- 边缘设备或嵌入式系统上运行经典 ML 模型,要求低延迟低功耗
- 将 Python 训练的模型部署到 C/C++ 生产环境,避免维护 Python 服务
- 实时推理场景如风控、推荐、异常检测,需要高吞吐和稳定响应
替代项目
ONNX Runtime、Treelite、MLflow
同类项目推荐
lmdeploy
开源
一键压缩部署大模型,推理快、显存省、吞吐高
LMDeploy is a toolkit for compressing, deploying, and serving LLMs.
instill-core
开源
拖拽搭建 AI 流水线,从数据到模型一键编排
Instill Core is a full-stack AI infrastructure tool for data, model and pipeline orc···
beneath
开源
免运维的实时数据管道,一键接入,秒级查询。
Beneath is a serverless real-time data platform ⚡️
popmon
开源
自动监控数据漂移,及时预警异常变化
Monitor the stability of a Pandas or Spark dataframe ⚙︎
merlin
开源
在 Kubernetes 上轻松管理、部署和上线 ML 模型,省心省力。
Kubernetes-friendly ML model management, deployment, and serving.
tt-metal
开源
用 Tenstorrent 硬件跑 AI 模型,底层算子与内核编程一手掌控
:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.
modelstore
开源
一行代码保存模型版本,随时回溯和分享
modelstore is a Python library that allows you to version, export, and save a machin···
Serving-Machine-Learning-Models
开源
一套代码示例,搞定模型上线多种姿势
This repository contains instructions, template source code and examples on how to s···
aisix-archived
开源
用 Rust 打造你的 AI 网关,统一管理多模型请求
An open source, Native AI Gateway and LLM proxy built in Rust
