native-sparse-attention-triton
用Triton实现原生稀疏注意力，长序列推理提速降本。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 286
核心亮点
- 基于Triton，自动利用GPU并行，性能优于纯PyTorch实现
- 实现原生稀疏注意力（NSA），动态选择关键token，降低计算量
- 代码简洁，易于集成到现有Transformer模型中
不足之处
- 文档/社区待观察
- 仅支持特定GPU架构，兼容性有限
适用场景
- 超长文本处理（如文档问答、代码库理解）
- 大模型推理加速（降低KV cache占用）
- 多模态长序列任务（如视频理解）
替代项目
FlashAttention、xformers、Sparse Attention Kit
上一篇：InstructERC
下一篇：ParScale
同类项目推荐
AgileRL
开源
让强化学习训练快 10 倍，超参自动调优，开箱即用
The complete post-training stack for LLMs, plus RL for any problem. SFT, DPO and mul···
Qwen-VL-Series-Finetune
开源
用自有数据微调 Qwen-VL，快速得到专用视觉大模型
An open-source implementaion for fine-tuning Qwen-VL series by Alibaba Cloud.
CausalPFN
开源
用上下文学习，秒级估算因果效应，告别复杂建模
CausalPFN: Amortized Causal Effect Estimation via In-Context Learning
sklearn-diagnose
开源
给 sklearn 模型做 AI 体检，一眼揪出过拟合和数据泄漏
AI-powered diagnosis for Scikit-learn models: Detect overfitting, data leakage, clas···
GeoPT
开源
用几何预训练，让物理仿真又快又准
Official Code for "GeoPT: Scaling Physics Simulation via Lifted Geometric Pre-Traini···
FedKTL
开源
用服务端预训练生成器，让异构联邦学习上传更少、效果更好。
CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···
stable-pretraining
开源
一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。
Reliable, minimal and scalable library for pretraining foundation and world models
tirex
开源
零样本预测长短周期，无需训练直接上手
TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context···
get_model
开源
模块化建模跨细胞类型转录调控，多模态数据一键训练
A modular framework for multimodal cross-cell-type transcriptional regulation models