OmniQuant

环境要求

• Linux + NVIDIA GPU + CUDA
• Conda
• 约 20GB 以上磁盘（含基座模型与激活统计）

安装与启动步骤

1. 1建 conda 环境

   官方脚本以 Python 3.10 验证，低版本可能装不上依赖。

   conda create -n omniquant python=3.10 -y
   conda activate omniquant

   复制

2. 2装本体

   克隆仓库后以可编辑方式安装，便于直接跑 scripts/ 下的脚本。

   git clone https://github.com/OpenGVLab/OmniQuant.git
   cd OmniQuant
   pip install --upgrade pip
   pip install -e .

   复制

3. 3装修过的 AutoGPTQ

   真实量化依赖官方修 bug 分支的 kernel，普通版本会报错。

   git clone https://github.com/ChenMnZ/AutoGPTQ-bugfix
   cd AutoGPTQ-bugfix
   pip install -v .

   复制

4. 4取激活尺度与偏移

   初始化需要 channel-wise 的 scale/shift，官方已备好可直接拉。

   conda install git git-lfs
   conda activate omniquant
   git lfs install
   git clone https://huggingface.co/ChenMnZ/act_shifts
   git clone https://huggingface.co/ChenMnZ/act_scales

   复制

5. 5跑量化

   以 LLaMA-7B 为例，输出目录里会生成量化权重与日志。

   CUDA_VISIBLE_DEVICES=0 python main.py --model /PATH/TO/LLaMA/llama-7b \
       --epochs 20 --output_dir ./log/llama-7b-w3a16g128

   复制

如何确认成功

./log/<输出目录> 下出现量化权重文件与训练日志，且进程正常退出。

常见问题

注意事项

• scripts/ 目录里有 W4A16、W3A16、W4A4 等完整脚本，直接改路径即可复用。
• 也可用仓库自带的 act_scale_shift 生成脚本自行统计，无需下载官方统计量。