项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 160
核心亮点
- 提出 token 级多头分解，直接提升线性注意力对细粒度关系的建模能力
- 支持图像生成、分类、视频、语言多任务，验证场景广泛
- 基于 Sana/DiT 集成，易于在现有扩散模型上替换使用
不足之处
- 早期项目，文档和社区支持待观察
- 未提供与标准 softmax 注意力的详细性能对比基准
适用场景
- 长序列图像生成（如高分辨率扩散模型）
- 视频生成中的时空注意力建模
- 高效语言模型的长上下文推理
替代项目
FlashAttention、Linear Attention (Linformer)、Mamba
上一篇：WaDi
下一篇：flow-matching
同类项目推荐
LLMNodeBed
开源
统一基准，对比LLM节点分类算法，复现ICML论文结果。
[ICML 2025] Official implementation for paper "A Comprehensive Analysis on LLM-based···
modelkit
开源
让 ML 模型开发到上线更省心
Toolkit for developing and maintaining ML models
Awesome-LLM-Post-training
开源
一站式掌握大模型后训练，从微调到推理增强
Awesome Reasoning LLM Tutorial/Survey/Guide
EvoControl
开源
让AI自己优化代码，还能按你的要求来
Official implementation of Controlled Self-Evolution for Algorithmic Code Optimizati···
verbalized-sampling
开源
让LLM输出带概率的多样答案，告别重复文本
Verbalized Sampling, a training-free prompting strategy to mitigate mode collapse in···
create-llm
开源
一条命令生成可训练的 PyTorch 大模型工程
The fastest way to build and start training your own LLM. CLI tool that scaffolds pr···
autodistill
开源
用基础模型自动标注，无人工标注训练视觉模型
Images to inference with no labeling (use foundation models to train supervised mode···
Scaling-Diffusion-Transformers-m···
开源
让扩散模型从小规模到大规模训练，超参数无需重调，省时省力。
[NeurIPS 2025] Official implementation for our paper "Scaling Diffusion Transformers···
RPG
开源
给大模型 RL 训练加上安全护栏，稳定提升性能
[ICLR 2026] RPG: KL-Regularized Policy Gradient (https://arxiv.org/abs/2505.17508)