flashinfer

免写 CUDA，给 LLM 推理服务直接加速的算子库

开源 🏷️基础免费，高级付费 ✅ 目前可打开基础设施 🍴 复刻 1691 🐛 待处理 1376 👀 关注 57

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 6844

维护状态活跃

是否开源开源

定价模式 🏷️基础免费，高级付费支持限时试用 · 开源内核库免费，官网提供云端服务入口，具体定价待确认

项目预览

项目数据

分类基础设施

开发团队flashinfer-ai

官网地址https://flashinfer.ai

GitHubhttps://github.com/flashinfer-ai/flashinfer

定价模式🏷️基础免费，高级付费

价格说明开源内核库免费，官网提供云端服务入口，具体定价待确认

访问状态✅ 目前可打开

是否开源是

开源协议Apache-2.0

主要语言Cuda

技术栈/模型attention,cuda,distributed-inference,gpu,jit,large-large-models,llm-inference,moe,nvidia,pytorch

GitHub 星标★ 6844

上线时间2023-07-22 00:00:00

代码更新2026-11-03

仓库体积274.7 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

FlashInfer 是一个面向大语言模型推理服务的高性能 GPU 内核库，用 CUDA 和 PyTorch 实现，专注解决 LLM 部署中注意力计算、MoE 路由、分布式推理等环节的算子效率问题。它把预填充、解码、分页 KV 缓存、投机采样等常见推理模式封装成可 JIT 编译的内核，开发者无需手写 CUDA 即可在服务中调用。核心能力包括：针对不同 batch 和序列长度自动选择最优注意力内核、支持分页与连续批处理、覆盖 MoE 与多 GPU 通信场景，并能与 PyTorch 生态无缝衔接。相比通用算子库，它更贴近推理服务的真实负载，能显著降低延迟并提升吞吐，适合自建推理引擎或优化现有服务框架的团队使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 6844

技术标签

attention cuda gpu llm-inference moe

使用教程

难度：进阶约 10 分钟部署方式：库/依赖 7 步

环境要求

Python 环境与 pip（可执行 python -m pip）
NVIDIA GPU，架构 SM75（Turing）及以后（含 Blackwell）
已安装 PyTorch（README 示例中 import torch）
源码安装需 setuptools>=77

安装与启动步骤

1安装核心包

安装 flashinfer-python，首次使用时会在本地编译或下载所需内核。
```
pip install flashinfer-python
```
2安装预编译内核

可选。安装 cubin 与 jit-cache wheel 以加快初始化并支持离线使用，需先装核心包。
```
pip install flashinfer-python
flashinfer install-cubin-wheel
flashinfer install-jit-cache-wheel
```
3启用 Blackwell 内核

可选。在 Blackwell（SM100+）上使用 CuTe DSL 内核时，安装带 CUDA 13 extra 的包。
```
pip install flashinfer-python[cu13]
```
4验证安装

运行命令行工具查看配置，确认包已正确安装并识别当前硬件配置。
```
flashinfer show-config
```
5源码安装

从 GitHub 递归克隆仓库后在仓库根目录安装；--recursive 用于拉取子模块。
```
git clone https://github.com/flashinfer-ai/flashinfer.git --recursive
cd flashinfer
python -m pip install -v .
```
6开发模式安装

开发场景使用可编辑安装；该方式不自动装构建依赖，需自行准备构建环境。
```
python -m pip install --no-build-isolation -e . -v
```
7修复构建依赖

若报 setuptools.build_meta 缺少属性的错误，先升级 pip 与 setuptools 再重试安装。
```
python -m pip install --upgrade pip setuptools
```