SparseLLM

全局剪枝大模型，高稀疏度下保住性能

SparseLLM 是 NeurIPS 2024 论文的官方实现，专注于大语言模型的全局剪枝。它解决的核心问题是：现有剪枝方法多依赖层内或局部启发式规则，难以在保持模型性能的同时实现高比例稀疏化。SparseLLM 将剪枝建模为全局优化问题，通过分解原始优化目标并利用双线性结构，在训练数据上直接优化剪枝后的模型输出与原始输出的差异，从而找到更优的稀疏子网络。其核心能力包括：支持对预训练 LLM 进行结构化/非结构化剪枝，提供可复现的剪枝流程，并在多个主流模型（如 LLaMA）上验证了优于现有方法的性能-稀疏度权衡。项目代码基于 Python 实现，适合研究者和工程师用于模型压缩与高效部署。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 71

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队BaiTheBest

所属国家

官网地址

GitHubhttps://github.com/BaiTheBest/SparseLLM

定价模式free

价格说明开源项目，Apache-2.0许可证，可免费使用和修改，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型alternating-optimization,efficient-ai,inference-optimization,large-language-models,model-compression,pruning

GitHub 星标★ 71

30天Star增速

HF 下载量

上线时间2024-02-19 00:00:00

最近更新2026-08-12 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

基于全局优化而非逐层启发式，剪枝决策更优
官方 NeurIPS 2024 实现，算法经过学术验证
提供可复现实验代码，便于对比和二次开发

不足之处

剪枝过程需要训练数据参与优化，增加额外计算开销
文档/社区待观察

适用场景

将大模型压缩至移动端或边缘设备
在保持精度前提下降低推理成本
学术研究：探索 LLM 稀疏化极限

替代项目

SparseGPT、Wanda、LLM-Pruner

项目介绍

SparseLLM 是模型训练领域的开源项目，由 BaiTheBest 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 71。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-12。Apache-2.0许可证，可免费使用和修改，无付费版本。

它主要面向的使用场景是：将大模型压缩至移动端或边缘设备。同类可对比的替代方案包括 SparseGPT、Wanda、LLM-Pruner。

上一篇：MoTCoder

下一篇：Awesome-Quantization-Papers