flash-linear-attention

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• Python 环境与 PyTorch（torch 由后端 extra 提供，不单独从 PyPI 安装）
• 需具备 CUDA / ROCm / XPU / NPU / CPU 之一的后端环境
• 已获取 flash-linear-attention 源码目录（需要通过 pip install -e . 安装）

安装与启动步骤

1. 1克隆仓库

   从 GitHub 拉取 flash-linear-attention 源码到本地，后续以可编辑模式安装。

   git clone https://github.com/fla-org/flash-linear-attention.git

   复制

2. 2进入源码目录

   切换到刚克隆下来的项目根目录，安装命令需在此目录执行。

   cd flash-linear-attention

   复制

3. 3安装 CUDA 后端

   CUDA 环境只需一条命令，torch 会随 [cuda] extra 一起装上。README 的代码块此处被截断，命令为按官方说明的常规写法。

   pip install -e ".[cuda]"

   复制

4. 4其他后端需两步

   ROCM/XPU/NPU/CPU 后端要分两步装，让 torch 及对应 triton 从 PyTorch wheel 索引获取而非 PyPI。README 未给出这两条具体命令，请以官方仓库为准。

5. 5验证可导入

   README 提示必须先 pip install -e . 才能 import，此步确认 fla 已在当前环境可用。

   python -c "import fla"

   复制

6. 6跑算子基准

   运行 README 给出的 benchmark 入口，会输出各算子前向/反向耗时表格，同时验证内核可用。

   python -m benchmarks.ops.run --op chunk_retention chunk_gla chunk_gdn flash_attn

   复制

如何确认成功

python -c "import fla" 无报错，且 benchmark 命令能打印出 chunk_retention、chunk_gla 等算子的耗时表格，即表示安装成功。

常见问题

注意事项

• 本教程基于 README 节选，Installation 代码块被截断，具体安装命令请以官方仓库为准。
• 后端 extra 必须按实际硬件选择：cuda / rocm / xpu / npu / cpu，不要额外单独 pip 安装 torch。
• 运行 benchmark 需要可用的 GPU 与对应内核编译环境，首次运行可能较慢。