SVD-LLM

用SVD给大模型瘦身,压缩后照样能打

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 47 🐛 待处理 32 👀 关注 7
GitHub ↗
GitHub 星标 ★ 310
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可,完全免费,可自行部署使用。

项目预览

SVD-LLM 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队AIoT-MLSys-Lab
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型efficient-models,generative-ai,large-language-models,model-compression
GitHub 星标★ 310
上线时间2024-03-13 00:00:00
代码更新2025-08-28
仓库体积1.1 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

SVD-LLM 是一个面向大语言模型的低秩压缩与微调框架,基于奇异值分解(SVD)技术,在保持模型性能的前提下显著减少参数规模和推理开销。它解决了大模型部署时内存占用高、推理速度慢的问题,核心能力包括对预训练模型进行结构化低秩近似、支持渐进式剪枝与微调,以及提供高效的参数更新策略。该框架已发表于 ICLR 2025,其后续版本 SVD-LLM V2 进一步优化了压缩流程,在 NAACL 2025 上发布。项目代码基于 Python 实现,目前处于早期阶段,星标数约 300,适合研究者和工程师用于模型压缩实验或生产环境中的轻量化部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 310

核心亮点

  • 基于SVD的低秩分解,压缩比高且可解释性强
  • 支持渐进式剪枝与微调,兼顾压缩率和性能恢复
  • 已发表顶会论文,方法经过学术验证

不足之处

  • 文档/社区待观察
  • 早期项目,API和功能可能不够稳定

适用场景

  • 大模型本地化部署,降低显存占用
  • 边缘设备上运行轻量级LLM
  • 模型压缩研究,对比不同低秩方法

替代项目

LLM-Pruner、SparseGPT、LoRA

上一篇:ORLM

下一篇:kg-llm

同类项目推荐

ToolOrchestra 开源

用强化学习训练模型更聪明地调用工具、编排工作流

ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···

★ 770 2026-08-09
language-planner 开源

用大模型零样本生成任务规划,直接驱动具身智能体。

Official Code for "Language Models as Zero-Shot Planners: Extracting Actionable Know···

★ 282 2026-08-09
kedro-mlflow 开源

在 Kedro 管道中一键启用 MLflow 实验追踪与模型版本管理

A kedro-plugin for integration of mlflow capabilities inside kedro projects (especia···

★ 237 2026-08-09
BitVAE 开源

用比特级分词,让图像生成更精细高效

official training and inference code of bitwise tokenizer

★ 73 2026-08-09
AwesomeOPD 开源

一站式速览在线策略蒸馏,紧跟LLM前沿

Awesome List for On-Policy Distillation

★ 883 2026-08-09
Torch-Pruning 开源

一键剪枝任意 PyTorch 模型,自动处理复杂依赖,压缩提速不降准。

[CVPR 2023] DepGraph: Towards Any Structural Pruning; LLMs, Vision Foundation Models···

★ 3369 2026-08-09
amazon-sagemaker-generativeai 开源

在 SageMaker Studio 里跑通生成式 AI 训练与提示实验

Repository for training and deploying Generative AI models, including text-text, tex···

★ 221 2026-09-16
verl-vla 开源

采集+微调+RL 一条龙,让机器人 VLA 策略快速迭代

A unified VLA post-training framework for human-in-the-loop data collection, fine-tu···

★ 151 2026-09-29