MoA 是模型训练领域的开源项目，由 thu-nics 开发，2024 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 160。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-18。MIT许可证，完全免费，需自行部署使用。
它主要面向的使用场景是：在GPU显存受限的服务器上部署大模型。同类可对比的替代方案包括 LLM-Pruner、SparseGPT、FlashAttention。
MoA
自动混合稀疏注意力，压缩 LLM 省内存提速
MoA 是论文《MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression》的官方实现，属于大语言模型压缩工具。它通过混合稀疏注意力机制，自动为不同注意力头分配最优的稀疏模式，从而在保持模型性能的同时大幅减少计算和内存开销。核心能力包括：自动学习稀疏注意力配置、支持多种稀疏模式（如局部、全局、随机等）、与主流 LLM 架构兼容。MoA 解决的是 LLM 推理成本高、部署难的问题，让模型在资源受限环境下高效运行，尤其适合长文本场景。
开源
free
开源模型
GitHub 星标
★ 160
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队thu-nics
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models,model-compression,sparse-attention
GitHub 星标★ 160
30天Star增速
HF 下载量
上线时间2024-06-19 00:00:00
最近更新2026-08-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 自动学习每层注意力头的稀疏模式，无需人工调参
- 显著降低显存占用和推理延迟，实测效果明显
- 官方实现，代码结构清晰，便于二次开发
不足之处
- 项目处于早期，文档和社区支持待观察
- 依赖特定硬件和框架，通用性待验证
适用场景
- 在 GPU 显存受限的服务器上部署大模型
- 长文本处理场景（如文档问答、代码生成）
- 边缘设备或移动端运行轻量化 LLM
替代项目
LLM-Pruner、SparseGPT、FlashAttention
项目介绍
上一篇：reevo
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···