LightCompress
一套工具压缩 LLM/VLM/视频模型，部署更省资源
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 754
使用教程
环境要求
- Docker
- NVIDIA Container Toolkit
- 待压缩模型权重
安装与启动步骤
-
1拉镜像
官方镜像已打包环境，直接用。
docker pull llmcompression/llmc:pure-latest -
2挂载模型
把待压缩模型目录挂进容器。
docker run -it -v /models:/models llmcompression/llmc:pure-latest bash -
3选配置
按文档挑量化或剪枝方案。
llmc --help -
4压缩并评测
压完立刻跑精度评测，别只看体积。
llmc quant --model /models/llama --bits 4
如何确认成功
输出目录出现压缩后权重，评测精度下降在可接受范围。
注意事项
- 4bit 量化通常掉点很小，2bit 必须重新评测。
- 容器内路径与宿主机不同，挂载点写错会找不到模型。
核心亮点
- 统一框架支持 LLM、VLM 和视频生成模型，覆盖面广
- 基于 EMNLP 2024 和 AAAI 2026 论文，算法有学术支撑
- 模块化设计，可灵活组合剪枝、量化、蒸馏等压缩策略
不足之处
- 文档/社区待观察
- 早期项目，API 和功能可能不够稳定
适用场景
- 大模型云端部署前的模型瘦身，降低显存和推理延迟
- 边缘设备上运行轻量化视觉语言模型
- 视频生成模型压缩，用于实时或低成本生成任务
替代项目
llm-compressor、AutoGPTQ、SparseGPT
上一篇：Latent-SFT
下一篇：LongCodeZip
同类项目推荐
dFactory
开源
几行代码微调扩散语言模型，省显存快验证
Easy and Efficient dLLM Fine-Tuning
mct-model-optimization
开源
把神经网络量化剪枝压小，落到边缘芯片上跑
Model Compression Toolkit (MCT) is an open source project for neural network model o···
ORLM
开源
让大模型看懂业务问题，自动写出优化模型代码
ORLM: Training Large Language Models for Optimization Modeling
denoising_diffusion
开源
用PyTorch Lightning复现DDPM，快速跑通扩散模型训练与生成
Unofficial Implementation of "Denoising Diffusion Probabilistic Models" in PyTorch(L···
MLM_Filter
开源
用多模态模型自动筛出高质量图文对，提升训练数据纯净度
Official implementation of our paper "Finetuned Multimodal Language Models are High-···
LLM-RLHF-Tuning-with-PPO-and-DPO
开源
一站式跑通大模型 RLHF：SFT 到 PPO/DPO 全流程
Comprehensive toolkit for Reinforcement Learning from Human Feedback (RLHF) training···
AgentGym
开源
让大模型智能体在多样环境中自我进化，一键复现论文实验
Code and implementations for the ACL 2025 paper "AgentGym: Evolving Large Language M···
Awesome-Quantization-Papers
开源
一站式追踪神经网络量化前沿论文，快速掌握技术脉络。
List of papers related to neural network quantization in recent AI conferences and j···
verbalized-sampling
开源
让LLM输出带概率的多样答案，告别重复文本
Verbalized Sampling, a training-free prompting strategy to mitigate mode collapse in···