Flash-Sparse-Attention

让长序列注意力更快更省，即插即用替换标准注意力

Flash-Sparse-Attention 是一个面向原生稀疏注意力机制的高效实现库，专注于解决长序列场景下标准注意力计算开销过大的问题。它通过融合稀疏模式与FlashAttention的IO感知优化，在保持模型表达能力的同时显著降低计算和内存占用。项目提供多种稀疏注意力模式（如局部、带状、随机等）的算子级优化，支持PyTorch等主流框架，并针对GPU硬件做了内核级调优。核心能力包括：灵活的稀疏掩码生成、高效的稀疏注意力前向/反向计算、以及与其他注意力变体的无缝替换。该库旨在让研究者轻松将稀疏注意力集成到现有Transformer模型中，从而处理更长上下文，适用于大语言模型推理加速、长文档理解、多模态序列建模等场景。目前项目处于早期阶段，API可能变动，但已展示出显著的性能潜力。