long-context-attention

把超长上下文注意力切到多卡上，训练推理都能跑更长

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 87 🐛 待处理 15 👀 关注 5

GitHub ↗

GitHub 星标 ★ 696

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源免费，无在线服务

项目预览

long-context-attention 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类模型训练

开发团队feifeibear

GitHubhttps://github.com/feifeibear/long-context-attention

定价模式🏷️完全免费

价格说明开源免费，无在线服务

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型attention-is-all-you-need,deepspeed-ulysses,llm-inference,llm-training,pytorch,ring-attention

GitHub 星标★ 696

上线时间2024-03-27 00:00:00

代码更新2026-09-16

仓库体积4.8 MB

本站数据更新2026-11-04

维护状态维护中

收录时间2026-09-19

浏览次数2

项目介绍

long-context-attention 是面向长上下文 Transformer 训练与推理的序列并行注意力实现，核心是 USP（Unified Sequence Parallelism），把 DeepSpeed-Ulysses 式的头维切分与 Ring-Attention 式的序列维切分统一成 2D 混合并行方案。它解决的是单卡显存装不下超长序列、而单一并行策略在扩展性和通信效率上受限的问题：通过在不同并行维度上同时切分注意力头与序列块，让模型在数十万 token 的上下文长度下仍能保持较高 GPU 利用率，并兼容训练与推理两种流程。项目以 Python/PyTorch 实现，提供可直接替换的注意力接口，便于接入现有 Megatron/DeepSpeed 类训练框架，同时支持因果与非因果注意力，适合需要处理长文档、长代码库或长对话历史的大模型团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-19 · 当前星标 ★ 696

技术标签

llm-inference llm-training pytorch

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 80 分钟部署方式：本地安装 4 步

环境要求

多卡 GPU
PyTorch 2.x
flash-attn 或 flashinfer

安装与启动步骤

1确认用途

这是序列并行的注意力实现，把两种分布式注意力结合起来，用于超长上下文训练。
2装依赖

需要特定版本的 flash-attn 与分布式后端，环境不对会在导入阶段就失败。
3单测多卡通信

先用 torchrun 起小规模测试，确认 all-to-all 通信正常。
```
torchrun --nproc_per_node=4 ./test/test_hybrid_attn.py --sp_ulysses_degree 2 --causal
```
4接进自己的模型

按同样参数替换原始注意力层，先短序列验证数值一致再拉长。