SparseLLM

全局剪枝大模型,高稀疏度下保住性能

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 11 🐛 待处理 2 👀 关注 3
GitHub ↗
GitHub 星标 ★ 71
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和修改,无付费版本。

项目预览

SparseLLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队BaiTheBest
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和修改,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型alternating-optimization,efficient-ai,inference-optimization,large-language-models,model-compression,pruning
GitHub 星标★ 71
上线时间2024-02-19 00:00:00
代码更新2025-03-27
仓库体积148 KB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

SparseLLM 是 NeurIPS 2024 论文的官方实现,专注于大语言模型的全局剪枝。它解决的核心问题是:现有剪枝方法多依赖层内或局部启发式规则,难以在保持模型性能的同时实现高比例稀疏化。SparseLLM 将剪枝建模为全局优化问题,通过分解原始优化目标并利用双线性结构,在训练数据上直接优化剪枝后的模型输出与原始输出的差异,从而找到更优的稀疏子网络。其核心能力包括:支持对预训练 LLM 进行结构化/非结构化剪枝,提供可复现的剪枝流程,并在多个主流模型(如 LLaMA)上验证了优于现有方法的性能-稀疏度权衡。项目代码基于 Python 实现,适合研究者和工程师用于模型压缩与高效部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 71

核心亮点

  • 基于全局优化而非逐层启发式,剪枝决策更优
  • 官方 NeurIPS 2024 实现,算法经过学术验证
  • 提供可复现实验代码,便于对比和二次开发

不足之处

  • 剪枝过程需要训练数据参与优化,增加额外计算开销
  • 文档/社区待观察

适用场景

  • 将大模型压缩至移动端或边缘设备
  • 在保持精度前提下降低推理成本
  • 学术研究:探索 LLM 稀疏化极限

替代项目

SparseGPT、Wanda、LLM-Pruner

上一篇:MoTCoder

下一篇:Awesome-Quantization-Papers

同类项目推荐

lora-the-explorer 开源

可视化编辑 FLUX LoRA,让模型控制更直观高效

Advanced FLUX LoRA manipulation toolkit with GUI interface

★ 59 2026-08-09
Finetuning-Suite 开源

30秒微调 Hugging Face 任意模型,极速上手

Finetune any model on HF in less than 30 seconds

★ 59 2026-08-09
stable-pretraining 开源

一键搭建稳定可扩展的预训练流程,专注模型研究而非工程细节。

Reliable, minimal and scalable library for pretraining foundation and world models

★ 345 2026-08-09
examples 开源

看示例,快速上手 Neptune 实验管理

Examples of how to use Neptune for different use cases and with various MLOps tools

★ 86 2026-08-09
kikiri-tts 开源

给 Kokoro 模型加新语言,照着文档就能微调

This project provides a complete, documented training recipe for fine-tuning Kokoro-···

★ 138 2026-08-09
RLVR-World 开源

用强化学习训练能用于决策的视频生成世界模型

Official repository for "RLVR-World: Training World Models with Reinforcement Learni···

★ 283 2026-08-09
SepLLM 开源

压缩冗余片段,让大模型推理快 2.5 倍

[ICML 2025] "SepLLM: Accelerate Large Language Models by Compressing One Segment int···

★ 573 2026-08-09
DreamBooth 开源

用几张照片,让AI学会画你的专属对象

This repository contains the implementation of DreamBooth with Stable Diffusion. You···

★ 61 2026-08-09