FlagGems

用 Triton 写 LLM 算子，一套代码跑多种 GPU

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 611 🐛 待处理 1399 👀 关注 13

GitHub ↗

GitHub 星标 ★ 1166

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，采用Apache等开源许可证

项目预览

项目数据

分类基础设施

开发团队flagos-ai

GitHubhttps://github.com/flagos-ai/FlagGems

定价模式🏷️完全免费

价格说明开源免费，采用Apache等开源许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型pytorch,triton,triton-kernels

GitHub 星标★ 1166

上线时间2024-03-21 00:00:00

代码更新2026-11-03

仓库体积51.6 MB

本站数据更新2026-11-04

维护状态活跃

收录时间2026-09-15

浏览次数2

项目介绍

FlagGems 是一个用 Triton 语言实现的大语言模型算子库，目标是提供一套高性能、可移植的 GPU 算子集合，替代或补充 PyTorch 原生算子以及厂商定制算子库。它解决的核心问题是：大模型训练和推理中，许多关键算子（如注意力、归一化、激活、矩阵乘等）在不同硬件上性能差异大，而 CUDA 手写算子开发成本高、可移植性差。FlagGems 用 Triton 统一实现，借助 Triton 的自动调优和跨平台能力，让同一套算子代码能在 NVIDIA、AMD 等多种 GPU 上运行，并针对 LLM 常见形状做优化。项目提供与 PyTorch 兼容的接口，用户可像调用 torch 算子一样使用，也支持接入 vLLM 等推理框架。核心能力包括：覆盖常见 LLM 算子的 Triton 实现、自动调优配置、与 PyTorch 生态的无缝集成，以及面向国产 GPU 的适配潜力。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 1166

技术标签

pytorch triton

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 15 分钟部署方式：库/依赖 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

可用的 GPU 环境（NVIDIA / AMD 等 Triton 支持的加速器）
Python 环境（README 未指定具体版本）
已安装 PyTorch（FlagGems 注册到其 ATen 后端）
已安装 Triton（算子以内核形式用 Triton 语言实现）
网络可访问 GitHub 与官方文档站点

安装与启动步骤

1确认环境与依赖

README 说明 FlagGems 基于 Triton 实现，并注册到 PyTorch 的 ATen 后端，使用前需先具备可用的 GPU 与 Python、PyTorch、Triton 环境。
2获取项目代码

把 FlagGems 仓库克隆到本地，后续安装与使用都基于该目录。README 未给出具体安装命令。
```
git clone https://github.com/flagos-ai/FlagGems.git
```
3查看快速开始文档

README 明确指向官方 Getting Started 页面，按其中的步骤完成安装，不要凭猜测执行其他安装命令。
4查看使用说明文档

README 指向官方 usage 文档，其中说明了如何在实际代码中使用该软件及其细节。