用Triton实现原生稀疏注意力，长序列推理提速降本。
这是一个基于Triton的高效原生稀疏注意力（NSA）实现。NSA是一种新型注意力机制，通过动态选择重要的键值对，大幅降低长序列场景下的计算和内存开销。该项目解决了标准注意力机制在超长上下文（如128K以上）中计算成本过高的问题，核心能力包括：支持动态稀疏模式、兼容Triton编译器以利用GPU并行能力、提供与PyTorch原生注意力接口类似的API。项目处于早期阶段，代码结构清晰，适合研究者和工程师在长文本处理、多模态推理等场景中集成使用。
FlashAttention、xformers、Sparse Attention Kit
native-sparse-attention-triton 是模型训练领域的开源项目，由 XunhaoLai 开发，2025 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 283。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-10。Apache-2.0 许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：超长文本处理（如文档问答、代码库理解）。同类可对比的替代方案包括 FlashAttention、xformers、Sparse Attention Kit。
上一篇：InstructERC
下一篇：ParScale
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
