ringattention
环形分布注意力，让长上下文处理又快又省显存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 775
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 多卡 GPU
- torch 2.x
- 高速互联（NVLink/IB）
安装与启动步骤
-
1装包
环形注意力的实现，用于近无限上下文。
pip install ringattention -
2确认依赖
需要支持分布式通信的 torch。
python -c "import torch; print(torch.__version__)" -
3跑单机多卡
先用 2 卡验证通信是否正确。
torchrun --nproc_per_node=2 example.py -
4扩到多机
改 world size 与 master 地址。
torchrun --nnodes=2 --nproc_per_node=8 --master_addr=<ip> example.py
如何确认成功
序列长度超出单卡上限时仍能前向，且结果与分块计算一致。
注意事项
- 它的核心是把长序列切成块，在设备间轮转 K/V。
- 通信带宽是瓶颈，以太网多机基本没收益。
- 数值正确性建议和短序列实现交叉验证。
核心亮点
- 采用环形分布策略，有效降低长序列注意力计算的内存峰值
- 支持动态负载均衡，多设备利用率高，扩展性强
- 接口简洁，易于集成到 PyTorch 等主流框架
不足之处
- 早期项目，文档和社区生态尚待完善
- 对非标准注意力变体的兼容性可能有限
适用场景
- 训练/推理超长文档（如书籍、法律文书）的 LLM
- 长对话或多轮交互场景的模型优化
- 在有限显存下处理超长序列的科研实验
替代项目
FlashAttention、Longformer、BigBird
上一篇：MambaInLlama
下一篇：llm4regression
同类项目推荐
FATE-LLM
开源
数据不出域，多方联合微调大模型
Federated Learning for LLMs.
Prism
开源
动态稀疏注意力，让2K音视频生成模型原生训练更省算力
We propose Prism, a dynamic sparse attention framework for natively training joint v···
ComfyUI-TrainTools-MZ
开源
在 ComfyUI 里拖拽节点，轻松训练自己的 LoRA 模型
在ComfyUI中进行lora微调的节点,依赖于kohya-ss/sd-scripts等训练工具(Nodes for fine-tun···
Unified-MoE-Compression
开源
给 MoE 模型瘦身，压缩后推理更快更省内存
The official implementation of the paper "Towards Efficient Mixture of Experts: A Ho···
quaterion
开源
几分钟搭好相似度模型训练，向量检索效果快速提升
Blazing fast framework for fine-tuning similarity learning models
merge-models
开源
按比例融合两个扩散模型，快速生成新风格模型
Merges two latent diffusion models at a user-defined ratio
instruction-tuned-sd
开源
微调Stable Diffusion，让它听懂指令改图
Code for instruction-tuning Stable Diffusion.
prismaquant
开源
按层敏感度自动分配量化精度，省显存不掉点
Mixed-precision quantization for LLMs. Every layer refracts into a different format ···
spiral
开源
让AI在对抗博弈中练出深度推理
SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Tur···