nncf

环境要求

• Python 环境（NNCF 是以 Python 包形式发布和使用的）
• pip 包管理器，或 conda（二选一）
• 系统要求取决于所使用的后端（backend），具体见 docs/Installation.md
• 待量化的模型来自 PyTorch、TorchFX、ONNX 或 OpenVINO 之一

安装与启动步骤

1. 1用 pip 安装 NNCF

   官方推荐的安装方式，NNCF 作为常规 PyPI 包发布，一条命令即可完成安装。

   pip install nncf

   复制

2. 2或用 conda 安装

   如果使用 conda 环境，可改用 conda-forge 渠道安装，二选一即可，不要重复安装。

   conda install -c conda-forge nncf

   复制

3. 3验证包已可导入

   进入 Python 确认 nncf 模块能被正常导入，出现版本号说明安装成功。

   python -c "import nncf; print(nncf.__version__)"

   复制

4. 4编写量化脚本

   按 README 的 PyTorch 用法导入 nncf、torch 与 torchvision，并准备好待量化的 model 和 calibration_dataset 后再执行量化。

   python quantize_demo.py

   复制

5. 5运行量化流水线

   调用 nncf.quantize 传入模型与校准数据集，返回的即量化后的模型；ONNX/TorchFX 用法与此一致。

   import nncf
   import torch
   from torchvision import datasets, models
   
   # 需先准备好 model 和 calibration_dataset
   quantized_model = nncf.quantize(model, calibration_dataset)

   复制

如何确认成功

执行 python -c "import nncf" 无报错，且 nncf.quantize(model, calibration_dataset) 能正常返回量化后的模型对象。

常见问题

注意事项

• NNCF 的系统要求与所用后端（PyTorch/ONNX/OpenVINO 等）对应，安装前建议先看 docs/Installation.md。
• 框架可与 OpenVINO 配合，用于优化神经网络在 OpenVINO 上的推理表现。
• 更多压缩算法效果与用法可参考 NNCF Model Zoo（docs/ModelZoo.md）和仓库中的 samples/tutorials。