项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 3946
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 环境（README 未指定最低版本，需自行确认）
- 已安装 pip 包管理器
- 需要联网访问 PyPI 下载依赖
安装与启动步骤
-
1安装 llmcompressor
README 中给出的唯一安装方式，直接用 pip 从 PyPI 安装该库，会自动拉取相关依赖。
pip install llmcompressor -
2验证是否安装成功
在 Python 中导入 llmcompressor，若无报错即表示包已正确安装到当前环境。
python -c "import llmcompressor" -
3查阅官方文档
README 未提供压缩示例代码，实际量化/压缩用法请到官方文档查看。
如何确认成功
执行 python -c "import llmcompressor" 无 ModuleNotFoundError 等报错即安装成功。
常见问题
Q：安装完怎么开始压缩模型？
A：README 只给出了 pip 安装命令，没有示例代码。请到官方文档 https://docs.vllm.ai/projects/llm-compressor 查看具体量化与压缩流程。
Q：压缩后的模型能直接被 vLLM 加载吗？
A：可以。模型会以 compressed-tensors 格式保存，该格式与 vLLM 兼容，无需额外手动转换。
Q：支持哪些压缩/量化能力？
A：README 说明覆盖权重、激活、KV cache 与 attention 量化，并提供多种量化算法与变换（项目简介提及 GPTQ、AWQ、SmoothQuant、INT8/FP8 及稀疏化）。
Q：超大模型显存不够怎么办？
A：README 提到支持 DDP 与磁盘卸载（disk offloading），可在硬件受限的情况下压缩大模型。
注意事项
- README 未给出 Python 版本、CUDA 版本等硬性依赖要求，安装前请自行确认环境。
- 压缩结果统一保存为 compressed-tensors 格式，面向 vLLM 部署。
- 需要压缩超大模型时可使用 DDP 和磁盘卸载能力。
- 遇到问题可在 vLLM 社区 Slack 的 #llm-compressor 或 #sig-quantization 频道提问。
核心亮点
- 与 vLLM 官方生态深度绑定，压缩产物可直接被 vLLM 加载，无需格式转换
- 覆盖 GPTQ、AWQ、SmoothQuant、FP8 等主流算法，一个库满足多种量化需求
- 基于 Transformers 接口，已有 HF 模型可低成本接入压缩流程
不足之处
- 算法参数和校准配置有一定学习成本，新手需要试错
- 部分高级压缩方案对硬件和 CUDA 版本有要求，环境适配需注意
适用场景
- 将 70B 级模型量化到 INT4/FP8 后部署到 vLLM 推理服务
- 在有限显存的单卡或多卡环境压缩模型以降低部署成本
- 为已训练好的 HF 模型快速生成可上线的量化版本
替代项目
AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa
同类项目推荐
OpenPipe
开源
把贵提示词变成便宜微调模型，省下大笔API费用
Turn expensive prompts into cheap fine-tuned models
GRAPE
开源
给图神经网络装上更强的位置编码，提升结构感知能力。
[ICLR 2026] GRAPE: Group Representational Position Encoding (https://arxiv.org/abs/2···
prismaquant
开源
按层敏感度自动分配量化精度，省显存不掉点
Mixed-precision quantization for LLMs. Every layer refracts into a different format ···
halo
开源
一套框架搞定 LLM 与多模态的微调和强化学习训练
Halo is an open-source framework built by White Circle for training large language a···
reasoning-gym
开源
给AI推理训练提供可验证奖励的现成环境，直接上手RL
[NeurIPS 2025 Spotlight] Reasoning Environments for Reinforcement Learning with Veri···
ColossalAI
开源
让大模型训练部署更便宜、更快速，普通硬件也能玩转AI大模型。
Making large AI models cheaper, faster and more accessible
OneTrainer
开源
图形化界面搞定扩散模型训练，从 LoRA 到全量微调一站式完成。
OneTrainer is a one-stop solution for all your Diffusion training needs.
language-planner
开源
用大模型零样本生成任务规划，直接驱动具身智能体。
Official Code for "Language Models as Zero-Shot Planners: Extracting Actionable Know···
GuidedQuant
开源
用端到端损失引导量化，让大模型压缩后不掉点
Official PyTorch implementation of "GuidedQuant: Large Language Model Quantization v···