InfiniTensor

让大模型在多种 GPU 上快速跑起来并方便做实验

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 82 🐛 待处理 68 👀 关注 5
GitHub ↗
GitHub 星标 ★ 591
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

InfiniTensor 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队InfiniTensor
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言C++
GitHub 星标★ 591
上线时间2022-07-27 00:00:00
代码更新2026-11-11
仓库体积26.3 MB
本站数据更新2026-11-22
维护状态较活跃
收录时间2026-10-08
浏览次数5

项目介绍

InfiniTensor 是一个面向 GPU 与 AI 加速器的高性能推理引擎,用 C++ 编写,核心目标是让大模型推理在不同硬件上高效部署,同时方便学术研究快速验证新想法。它把模型加载、算子调度、内存管理与硬件抽象层整合在一起,支持多种加速器后端,并提供图优化与算子融合能力,减少显存占用和延迟。相比只针对单一硬件的推理框架,它强调可移植性和可扩展性,研究者可以基于它实现自定义算子或调度策略,并直接在真实硬件上跑通。项目目前处于早期阶段,星标约 500,适合需要做推理性能实验、硬件适配或教学演示的团队,也适合作为学习推理引擎内部实现的代码库。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 591

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 90 分钟 部署方式:本地构建 5 步

环境要求

  • C++ 构建工具链
  • Python 环境

安装与启动步骤

  1. 1克隆

    导入、变换并执行计算图的推理框架。

  2. 2装 Python 绑定

    只跑 Python 侧这样装就够。

    make install-python INFINI=OFF PYTHON="$(command -v python3)"
  3. 3跑一次图执行

    用仓库给的示例模型验证链路。

  4. 4接加速卡

    有专用硬件时再开对应后端。

  5. 5看性能差异

    同一模型对比纯 CPU 与加速后端。

如何确认成功

同一计算图在纯 CPU 与加速后端上都能跑出正确结果,加速后端吞吐明显更高

注意事项

  • 它是推理框架,不是模型。
  • 编译链较长,第一次构建要留足时间。
  • 不同后端支持的操作集不一致。
  • 文档偏设计说明,操作细节看示例。

核心亮点

  • C++ 实现,面向 GPU 和 AI 加速器做底层优化,推理性能有针对性设计
  • 强调学术验证,代码结构便于研究者快速实现和测试新算子、新调度策略
  • 提供硬件抽象层,支持多种加速器后端,降低跨硬件部署的适配成本

不足之处

  • 项目早期,文档和示例相对有限,上手需要一定推理引擎背景
  • 社区规模较小,生态和第三方模型支持不如主流框架丰富

适用场景

  • 学术团队在真实 GPU 上验证新的推理调度或算子融合算法
  • 企业将大模型推理部署到多种 AI 加速器,需要统一引擎做适配
  • 开发者学习推理引擎内部实现,基于源码做二次开发和性能调优

替代项目

TensorRT、ONNX Runtime、TVM

上一篇:edgejs

下一篇:SparkDiffusion

同类项目推荐

universal 开源

用可定制数字类型,在精度与性能间自由取舍

Large collection of number systems providing custom arithmetic for mixed-precision a···

★ 505 2026-09-18
Stable-Diffusion-WSL2-Docker 开源

Windows用户一键搞定Stable Diffusion,免配置直接出图

One-click install for StabilityAI's Stable-Diffusion with AUTOMATIC1111's webui

★ 113 2026-08-09
lilypad 开源

用区块链调度全球闲置 GPU,跑 AI 任务更便宜透明

Run AI workloads easily in a decentralized GPU network. https://www.youtube.com/wat···

★ 94 2026-08-09
Rapid-MLX 开源

让 Mac 跑大模型快 4 倍,工具调用全兼容

Rapid-MLX is an open-source (Apache 2.0) OpenAI- and Anthropic-compatible LLM infere···

★ 4168 2026-08-09
AI-Horde 开源

众包算力,免费生成 AI 图片和文字

A crowdsourced distributed cluster for AI art and text generation

★ 1701 2026-08-09
spellbook-docker 开源

一条命令拉起本地多模型AI全家桶

AI stack for interacting with LLMs, Stable Diffusion, Whisper, xTTS and many other A···

★ 170 2026-08-09
OpenSandbox 开源

给AI智能体一个安全可控的“手脚”,放心让它干活

Secure, Fast, and Extensible Sandbox runtime for AI agents.

★ 17745 2026-08-09
ram-coffers 开源

用二手 POWER8 服务器,让 LLM 推理提速 8.8 倍,省下云账单。

LLM infrastructure cost reduction via NUMA-aware weight banking: 147 t/s (8.8x stock···

★ 169 2026-08-21
SmarterRouter 开源

统一管理本地多模型,自动路由省成本,故障秒切换。

SmarterRouter: An intelligent LLM gateway and VRAM-aware router for Ollama, llama.cp···

★ 165 2026-08-09