shortened-llm 是模型训练领域的开源项目，由 Nota-NetsPresso 开发，2024 年首次发布。
它收录于模型训练分类，该分类目前共有 522 个项目，GitHub 星标数为 91。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。本地部署，完全免费。
它主要面向的使用场景是：在显存受限的GPU或边缘设备上部署LLM推理服务。同类可对比的替代方案包括 llm-pruner、SparseGPT、GPTQ。
shortened-llm
压缩LLM，推理提速，显存减半，生成依旧流畅。
shortened-llm 是一个针对大语言模型（LLM）的压缩与高效文本生成工具，源自 ICLR'24 Workshop 的研究成果。它主要解决 LLM 在推理阶段计算开销大、内存占用高的问题，通过模型压缩技术（如剪枝、量化或结构简化）在保持生成质量的前提下显著降低模型尺寸和推理延迟。项目提供了一套完整的压缩流程和评估脚本，支持多种主流 LLM 架构，用户可基于 HuggingFace Transformers 快速集成。其核心能力包括：自动化的压缩配置、生成速度与质量的平衡调优、以及针对不同硬件环境的适配。适合研究者和工程师在资源受限场景下部署 LLM。
开源
free
开源模型
GitHub 星标
★ 91
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队Nota-NetsPresso
所属国家
定价模式free
价格说明开源项目，本地部署，完全免费。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型large-language-models,lightweight,pruning,pytorch
GitHub 星标★ 91
30天Star增速
HF 下载量
上线时间2024-04-01 00:00:00
最近更新2026-09-21 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 基于 ICLR'24 论文，压缩方法有理论支撑，非简单启发式
- 提供完整压缩流程和评估脚本，开箱即用，便于复现实验
- 支持多种主流 LLM 架构，与 HuggingFace 生态无缝集成
不足之处
- 项目处于早期，文档和社区支持尚待完善
- 压缩后模型质量损失需自行权衡，缺乏自动化调优指南
适用场景
- 在显存受限的 GPU 或边缘设备上部署 LLM 推理服务
- 需要降低 LLM 推理成本的大规模批量生成场景
- 研究模型压缩技术，快速对比不同压缩策略效果
替代项目
llm-pruner、SparseGPT、GPTQ
项目介绍
上一篇：xmtf
下一篇：ColossalAI
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···