项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 553
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA 显卡
- Python 环境
- 模型权重
安装与启动步骤
-
1克隆
把稀疏与线性注意力融合的加速方法。
git clone https://github.com/thu-ml/SLA.git -
2装成本地包
按可编辑模式装。
pip install -e . -
3接进扩散模型
按它的方式替换注意力层。
-
4跑对比
同一提示词下比速度与质量。
-
5调稀疏比例
比例越高越快，细节越容易糊。
如何确认成功
启用后生成速度提升明显，同一提示词下的画面结构与基线基本一致
注意事项
- 它是可训练的注意力方法，不是纯推理技巧。
- 稀疏比例是最直接的速度质量旋钮。
- 融合结构对小分辨率更友好。
- 代码较新，文档以论文为主。
核心亮点
- 相比稀疏注意力，SLA通过线性注意力捕获全局依赖，避免动态稀疏带来的额外开销
- 支持微调稀疏模式，能针对不同数据集和任务灵活调整，提升生成质量
- 基于Triton实现的内核，在保持精度前提下显著降低显存占用和计算延迟
不足之处
- 文档/社区待观察
- 依赖特定硬件和Triton环境，部署门槛较高
适用场景
- 长视频序列的扩散模型推理加速
- 高分辨率图像生成中的注意力计算优化
- 移动端或边缘设备上的实时生成应用
替代项目
DeepSpeed、FlashAttention、xFormers
上一篇：SpargeAttn
下一篇：fastrtc
同类项目推荐
SparkDiffusion
开源
多技术叠加让 DiT 视频生成提速 265 倍
SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···
MachineAuth
开源
让 AI 代理安全访问 API，权限可控可审计
MachineAuth provides authentication and permission infrastructure that allows AI age···
vllm-omni
开源
一套框架通吃文本图像视频，换模型不用再重搭环境。
A framework for efficient model inference with omni-modality models
router
开源
给 vLLM 集群做请求分发，Rust 写的轻量路由
A high-performance and light-weight router for vLLM large scale deployment
awesome-production-machine-learn···
开源
一站式找到ML生产落地所需的所有开源工具
A curated list of awesome open source libraries to deploy, monitor, version and scal···
omniai
开源
一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。
OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···
tma1
开源
让 AI 代理读取自己的运行日志，自动优化下一轮决策。
Local-first observability your agent reads back. TMA1 records every LLM call, then r···
awesome-free-llm-apis
开源
白嫖各种免费LLM API，开发测试不花钱
List of Permanent Free LLM API (API Keys)
comfy2go
开源
用 Go 轻松接入 ComfyUI，快速实现图像生成服务
A Go-based API that acts as a bridge to the ComfyUI backend