GPTQModel

环境要求

• Python 3 环境（README 中安装与示例均基于 Python/pip）
• pip 或 uv 包管理器（README 同时给出 pip 与 uv 两种装法）
• 源码安装方式需要 python3-dev（apt install python3-dev）
• 首次使用会触发 JIT 内核编译，依赖 ninja 包

安装与启动步骤

1. 1准备系统依赖

   仅在源码安装等场景需要 python3-dev；已具备可跳过。

   apt install python3-dev

   复制

2. 2pip 安装 GPTQModel

   标准安装方式，会自动拉取 ninja 等依赖用于首次 JIT 编译；也可换成 uv 安装。

   pip install -v gptqmodel

   复制

3. 3按需装加速模块

   可选模块如 autoround、ipex、vllm、sglang、bitblas，不需要就跳过。

   pip install -v gptqmodel[vllm,sglang,bitblas]

   复制

4. 4源码方式安装

   先进入 GPTQModel 源码目录再执行，方括号内可选模块按需填写。

   pip install -v .

   复制

5. 5安装评测工具

   Evalution 用于跑基准评测，README 使用其原生 GPT-QModel 引擎。

   pip install Evalution

   复制

6. 6运行评测示例

   把下面脚本存成 run_eval.py 后执行，能打印出 metrics 即说明量化模型可用。

   import evalution as eval
   
   run = (
       eval.GPTQModel(
           backend="marlin",
           device="cuda:0",
       )
       .model(eval.Model(path="ModelCloud/Llama-3.2-1B-Instruct-gptqmodel-4bit-vortex-v1"))
       .run(eval.benchmarks.gsm8k_platinum(apply_chat_template=True, batch_size=16))
   )
   
   print(run.to_dict()["tests"][0]["metrics"])

   复制

关键配置

如何确认成功

pip 安装无报错；运行 README 中的 Evalution 示例脚本，能打印出 metrics 字典即表示环境与量化模型可用。

常见问题

注意事项

• README 未给出 git clone 命令，源码安装请自行准备源码目录后再执行 pip install -v .
• EoRA rank 建议先试 64 和 32，再考虑 128 或 256，后者可能过拟合并增加显存占用
• 可选模块（autoround、ipex、vllm、sglang、bitblas）按需安装，避免一次性全装导致依赖冲突