MoA

自动混合稀疏注意力，压缩 LLM 省内存提速

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 9 👀 关注 5
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 163
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署使用。

项目预览

MoA 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队thu-nics
官网地址https://fuvty.github.io/thinking_yard_project_page/projects/moa
GitHubhttps://github.com/thu-nics/MoA
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型large-language-models,model-compression,sparse-attention
GitHub 星标★ 163
上线时间2024-06-19 00:00:00
代码更新2026-10-09
仓库体积1.1 MB
本站数据更新2026-11-09
维护状态维护中
收录时间2026-08-09
浏览次数6

项目介绍

MoA 是论文《MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression》的官方实现，属于大语言模型压缩工具。它通过混合稀疏注意力机制，自动为不同注意力头分配最优的稀疏模式，从而在保持模型性能的同时大幅减少计算和内存开销。核心能力包括：自动学习稀疏注意力配置、支持多种稀疏模式（如局部、全局、随机等）、与主流 LLM 架构兼容。MoA 解决的是 LLM 推理成本高、部署难的问题，让模型在资源受限环境下高效运行，尤其适合长文本场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 163

核心亮点

  • 自动学习每层注意力头的稀疏模式，无需人工调参
  • 显著降低显存占用和推理延迟，实测效果明显
  • 官方实现，代码结构清晰，便于二次开发

不足之处

  • 项目处于早期，文档和社区支持待观察
  • 依赖特定硬件和框架，通用性待验证

适用场景

  • 在 GPU 显存受限的服务器上部署大模型
  • 长文本处理场景（如文档问答、代码生成）
  • 边缘设备或移动端运行轻量化 LLM

替代项目

LLM-Pruner、SparseGPT、FlashAttention

上一篇：reevo

下一篇：verbalized-sampling

同类项目推荐

llm4regression 开源

不训练模型，看大模型能否从例子中学会回归

Examining how large language models (LLMs) perform across various synthetic regressi···

★ 161 2026-08-09
ObsScaling 开源

看公开数据就能预测模型性能，省下巨额训练费

[NeurIPS'24 Spotlight] Observational Scaling Laws

★ 63 2026-08-09
DDSM 开源

让扩散模型训练更快更省，按步骤智能分配学习资源

Denoising Diffusion Step-aware Models (ICLR2024)

★ 61 2026-08-09
prismaquant 开源

按层敏感度自动分配量化精度，省显存不掉点

Mixed-precision quantization for LLMs. Every layer refracts into a different format ···

★ 105 2026-10-31
chatgpt-finetune-ui 开源

拖拽上传数据，点点鼠标就能微调 ChatGPT 模型

Simple python WebUI for fine-tuning ChatGPT (gpt-3.5-turbo)

★ 173 2026-08-09
LiteResearcher 开源

用强化学习训练会查资料、写长报告的深度研究智能体

[COLM 2026] A Scalable Agentic RL Training Framework for Deep Research Agent

★ 134 2026-10-13
ai-toolkit 开源

写份配置就能微调扩散模型，LoRA 训练开箱即用

The ultimate training toolkit for finetuning diffusion models

★ 12589 2026-10-12
makani 开源

让 AI 气象模型在数百 GPU 上并行训练，实验迭代从月缩到天。

Massively parallel training of machine-learning based weather and climate models

★ 405 2026-10-17
CogKit 开源

给视频生成模型做微调和推理，快速定制专属视频生成能力。

Finetuning and inference tools for the CogView4 and CogVideoX model series.

★ 133 2026-08-09