InfiniTensor

让大模型在多种 GPU 上快速跑起来并方便做实验

InfiniTensor 是一个面向 GPU 与 AI 加速器的高性能推理引擎，用 C++ 编写，核心目标是让大模型推理在不同硬件上高效部署，同时方便学术研究快速验证新想法。它把模型加载、算子调度、内存管理与硬件抽象层整合在一起，支持多种加速器后端，并提供图优化与算子融合能力，减少显存占用和延迟。相比只针对单一硬件的推理框架，它强调可移植性和可扩展性，研究者可以基于它实现自定义算子或调度策略，并直接在真实硬件上跑通。项目目前处于早期阶段，星标约 500，适合需要做推理性能实验、硬件适配或教学演示的团队，也适合作为学习推理引擎内部实现的代码库。