flame

极简框架，快速训练线性注意力大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 72 🐛 待处理 9 👀 关注 8

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 426

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源框架，MIT许可证，完全免费，无付费版本。

项目预览

项目数据

分类开源模型

开发团队fla-org

官网地址https://github.com/fla-org/flame

GitHubhttps://github.com/fla-org/flame

定价模式🏷️完全免费

价格说明开源框架，MIT许可证，完全免费，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型flash-linear-attention,large-language-models,sequence-modeling

GitHub 星标★ 426

上线时间2025-01-06 00:00:00

代码更新2026-04-22

仓库体积204 KB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数8

项目介绍

flame 是一个极简的深度学习训练框架，专为扩展 FLA（Fast Linear Attention）模型而设计。它解决了高效训练线性注意力模型时面临的工程复杂性问题，提供了简洁的 API 和模块化设计，使研究者能快速搭建和扩展大规模模型训练流程。核心能力包括分布式训练支持、内存优化、灵活的模型配置，以及与主流深度学习生态的兼容性。项目处于早期阶段，代码风格清晰，适合作为研究工具或教学参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 426

技术标签

large-language-models

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 55 分钟部署方式：本地GPU 5 步

环境要求

NVIDIA GPU 多卡更佳
Python 3.10+
CUDA 12.x

安装与启动步骤

1拉仓库

它建在 torchtitan 之上，结构与其保持一致。
```
git clone https://github.com/fla-org/flame.git
```
2装成本地包

用可编辑安装，方便改配置。
```
pip install .
```
3装匹配的注意力内核

它替换默认的线性注意力实现，装错版本会直接报错。
```
pip install -U flash-linear-attention
```
4准备小数据集跑通

先用极小的数据验证训练循环。
5改并行配置再扩

单卡能跑通后再调张量并行。