long-context-attention

把超长上下文注意力切到多卡上，训练推理都能跑更长

long-context-attention 是面向长上下文 Transformer 训练与推理的序列并行注意力实现，核心是 USP（Unified Sequence Parallelism），把 DeepSpeed-Ulysses 式的头维切分与 Ring-Attention 式的序列维切分统一成 2D 混合并行方案。它解决的是单卡显存装不下超长序列、而单一并行策略在扩展性和通信效率上受限的问题：通过在不同并行维度上同时切分注意力头与序列块，让模型在数十万 token 的上下文长度下仍能保持较高 GPU 利用率，并兼容训练与推理两种流程。项目以 Python/PyTorch 实现，提供可直接替换的注意力接口，便于接入现有 Megatron/DeepSpeed 类训练框架，同时支持因果与非因果注意力，适合需要处理长文档、长代码库或长对话历史的大模型团队。