shortened-llm
压缩LLM，推理提速，显存减半，生成依旧流畅。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 91
核心亮点
- 基于 ICLR'24 论文，压缩方法有理论支撑，非简单启发式
- 提供完整压缩流程和评估脚本，开箱即用，便于复现实验
- 支持多种主流 LLM 架构，与 HuggingFace 生态无缝集成
不足之处
- 项目处于早期，文档和社区支持尚待完善
- 压缩后模型质量损失需自行权衡，缺乏自动化调优指南
适用场景
- 在显存受限的 GPU 或边缘设备上部署 LLM 推理服务
- 需要降低 LLM 推理成本的大规模批量生成场景
- 研究模型压缩技术，快速对比不同压缩策略效果
替代项目
llm-pruner、SparseGPT、GPTQ
上一篇：xmtf
下一篇：ColossalAI
同类项目推荐
ai8x-training
开源
在电脑上训练量化模型，一键部署到毫瓦级 AI 芯片
Model Training for ADI's MAX78000 and MAX78002 Edge AI Devices
alpamayo-recipes
开源
自动驾驶大模型微调、量化、部署一条龙配方
Developer Hub for NVIDIA Alpamayo, containing ready-to-use recipes for fine-tuning, ···
stable-pretraining
开源
一键搭建稳定可扩展的预训练流程，专注模型研究而非工程细节。
Reliable, minimal and scalable library for pretraining foundation and world models
Adaptive-MT-LLM-Fine-tuning
开源
微调开源大模型，让翻译更懂你的领域
Fine-tuning Open-Source LLMs for Adaptive Machine Translation
Target-Driven-Distillation
开源
让扩散模型蒸馏更快更稳，生成质量不掉线
Consistency Distillation with Target Timestep Selection and Decoupled Guidance
Awesome-Parameter-Efficient-Fine···
开源
大模型轻量微调方法一网打尽，选型不再翻论文
Parameter-Efficient Fine-Tuning for Foundation Models
DMax
开源
让扩散大模型生成提速，并行解码不再卡顿
[NeurIPS 2026] DMax: Aggressive Parallel Decoding for dLLMs
pycaret
开源
几行代码跑完建模全流程，小白也能交出好模型
Open-source, low-code AutoML platform for Python. PyCaret 4.0: sklearn-native engine···
RLinf
开源
一套框架把具身智能体和机器人策略的强化学习训练跑起来
RLinf: Reinforcement Learning Infrastructure for Embodied and Agentic AI