
InfiniTensor
让大模型在多种 GPU 上快速跑起来并方便做实验
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 591
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- C++ 构建工具链
- Python 环境
安装与启动步骤
-
1克隆
导入、变换并执行计算图的推理框架。
-
2装 Python 绑定
只跑 Python 侧这样装就够。
make install-python INFINI=OFF PYTHON="$(command -v python3)" -
3跑一次图执行
用仓库给的示例模型验证链路。
-
4接加速卡
有专用硬件时再开对应后端。
-
5看性能差异
同一模型对比纯 CPU 与加速后端。
如何确认成功
同一计算图在纯 CPU 与加速后端上都能跑出正确结果,加速后端吞吐明显更高
注意事项
- 它是推理框架,不是模型。
- 编译链较长,第一次构建要留足时间。
- 不同后端支持的操作集不一致。
- 文档偏设计说明,操作细节看示例。
核心亮点
- C++ 实现,面向 GPU 和 AI 加速器做底层优化,推理性能有针对性设计
- 强调学术验证,代码结构便于研究者快速实现和测试新算子、新调度策略
- 提供硬件抽象层,支持多种加速器后端,降低跨硬件部署的适配成本
不足之处
- 项目早期,文档和示例相对有限,上手需要一定推理引擎背景
- 社区规模较小,生态和第三方模型支持不如主流框架丰富
适用场景
- 学术团队在真实 GPU 上验证新的推理调度或算子融合算法
- 企业将大模型推理部署到多种 AI 加速器,需要统一引擎做适配
- 开发者学习推理引擎内部实现,基于源码做二次开发和性能调优
替代项目
TensorRT、ONNX Runtime、TVM
上一篇:edgejs
下一篇:SparkDiffusion
同类项目推荐
universal
开源
用可定制数字类型,在精度与性能间自由取舍
Large collection of number systems providing custom arithmetic for mixed-precision a···
Stable-Diffusion-WSL2-Docker
开源
Windows用户一键搞定Stable Diffusion,免配置直接出图
One-click install for StabilityAI's Stable-Diffusion with AUTOMATIC1111's webui
lilypad
开源
用区块链调度全球闲置 GPU,跑 AI 任务更便宜透明
Run AI workloads easily in a decentralized GPU network. https://www.youtube.com/wat···
Rapid-MLX
开源
让 Mac 跑大模型快 4 倍,工具调用全兼容
Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM infere···
AI-Horde
开源
众包算力,免费生成 AI 图片和文字
A crowdsourced distributed cluster for AI art and text generation
spellbook-docker
开源
一条命令拉起本地多模型AI全家桶
AI stack for interacting with LLMs, Stable Diffusion, Whisper, xTTS and many other A···
OpenSandbox
开源
给AI智能体一个安全可控的“手脚”,放心让它干活
Secure, Fast, and Extensible Sandbox runtime for AI agents.
ram-coffers
开源
用二手 POWER8 服务器,让 LLM 推理提速 8.8 倍,省下云账单。
LLM infrastructure cost reduction via NUMA-aware weight banking: 147 t/s (8.8x stock···
SmarterRouter
开源
统一管理本地多模型,自动路由省成本,故障秒切换。
SmarterRouter: An intelligent LLM gateway and VRAM-aware router for Ollama, llama.cp···