AutoGPTQ

一键量化大模型，显存减半推理加速

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 547 🐛 待处理 272 👀 关注 3 ⚠️ 作者已归档（停止维护）

GitHub ↗

GitHub 星标 ★ 5069

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，无付费版本。

项目预览

项目数据

分类开源模型

开发团队AutoGPTQ

GitHubhttps://github.com/AutoGPTQ/AutoGPTQ

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型deep-learning,inference,large-language-models,llms,nlp,pytorch,quantization,transformer,transformers

GitHub 星标★ 5069

上线时间2023-04-13 00:00:00

代码更新2025-04-11

仓库体积8.2 MB

本站数据更新2026-11-08

维护状态低维护

收录时间2026-08-09

浏览次数11

项目介绍

AutoGPTQ 是一个基于 GPTQ 算法的 LLM 量化工具包，提供简洁易用的 API，帮助开发者将大语言模型压缩为低比特（如 4-bit）表示，从而大幅降低显存占用和推理成本。它解决了大模型在消费级硬件上部署困难的问题，支持 Hugging Face Transformers 生态，可一键量化主流模型，并提供了量化后模型的推理加速。核心能力包括：多种量化配置（如 4-bit、8-bit）、支持 CPU/GPU 推理、与 transformers 无缝集成、以及高效的量化内核。通过 AutoGPTQ，开发者无需深入底层算法即可完成模型量化，适合在资源受限环境中部署大模型。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 5069

技术标签

deep-learning inference large-language-models llms nlp

使用教程

难度：进阶约 15 分钟部署方式：库/依赖 7 步

环境要求

操作系统：仅支持 Linux 和 Windows
NVIDIA 显卡需高于 Maxwell 架构（Maxwell 及更低不支持）
CUDA 11.8 / CUDA 12.1 或 ROCm 5.7 环境，且需匹配对应的 PyTorch（如 2.2.1+cu118、2.2.1+cu121、2.
已安装 Python 与 pip；从源码安装还需能编译 PyTorch 扩展

安装与启动步骤

1确认平台与GPU

确认系统为 Linux 或 Windows，并核对 CUDA/ROCm 版本与显卡架构（NVIDIA 需高于 Maxwell），再选择对应安装命令。
2pip安装(CUDA 12.1)

CUDA 12.1 环境直接安装官方预编译 wheel，无需额外索引地址，务必带 --no-build-isolation。
```
pip install auto-gptq --no-build-isolation
```
3pip安装(CUDA 11.8)

CUDA 11.8 环境需通过 autogptq-index 的 cu118 索引安装预编译包，否则会尝试本地编译。
```
pip install auto-gptq --no-build-isolation --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/
```

4pip安装(ROCm 5.7)

AMD ROCm 5.7 环境使用 rocm573 索引安装对应的预编译 wheel。

pip install auto-gptq --no-build-isolation --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm573/

5可选Triton后端

如需 Triton 后端可加装 [triton] 依赖，目前仅支持 Linux，且不支持 3-bit 量化。
```
pip install auto-gptq[triton] --no-build-isolation
```
6从源码安装

克隆仓库后先装 numpy、gekko、pandas 等构建依赖，再以 -e 方式本地安装；不建议关闭 CUDA 扩展编译。
```
git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ
pip install numpy gekko pandas
pip install -vvv --no-build-isolation -e .
```
7运行测试验证

在仓库根目录执行测试用例，确认安装与量化内核可用；需先完成源码克隆并进入项目目录。
```
pytest tests/ -s
```

关键配置

配置项	必填	说明	示例
`use_marlin`	否	加载模型时启用 Marlin int4*fp16 矩阵乘内核加速	`use_marlin=True`
`BUILD_CUDA_EXT`	否	设为 0 可跳过 PyTorch 扩展编译，但会退化为慢速 Python 实现	`BUILD_CUDA_EXT=0`