Model-Optimizer

一站式压缩大模型,导出即加速推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 823 🐛 待处理 546 👀 关注 33
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 5643
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,NVIDIA 官方库

项目预览

Model-Optimizer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队NVIDIA
定价模式🏷️完全免费
价格说明开源免费,NVIDIA 官方库
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 5643
上线时间2024-04-23 00:00:00
代码更新2026-11-20
仓库体积205.5 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数3

项目介绍

Model-Optimizer 是 NVIDIA 开源的一套统一模型优化库,把量化、蒸馏、剪枝、神经架构搜索、投机解码等当前主流的模型压缩技术整合到一个 Python 工具链里。它要解决的问题是:大模型直接部署推理太慢、显存占用太高,而各种优化技术分散在不同论文和脚本中,工程化落地成本高。该库提供端到端的流程,支持训练后量化、量化感知训练、知识蒸馏、结构化剪枝以及投机解码等,并能把压缩后的模型导出给 TensorRT-LLM、TensorRT、vLLM 等下游推理框架直接使用,从而在保持精度的前提下提升推理速度、降低部署成本。项目由 NVIDIA 维护,与自家推理生态衔接紧密,适合需要在生产环境压缩和加速深度学习模型的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 5643

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • 已安装 Python 与 pip 环境(README 未注明最低版本要求)
  • 可访问 PyPI 以下载 nvidia-modelopt 及其依赖
  • 准备好待优化模型:Hugging Face、PyTorch 或 ONNX 格式之一
  • 需要使用训练相关优化时,需配合 Megatron-Bridge、Megatron-LM 或 Hugging Face Accelerate

安装与启动步骤

  1. 1安装优化库

    用 pip 从 PyPI 安装稳定版并带上全部可选依赖;安装过程会一并下载第三方开源组件。

    pip install -U nvidia-modelopt[all]
  2. 2准备输入模型

    Model Optimizer 目前支持 Hugging Face、PyTorch 或 ONNX 模型作为优化输入,先确认模型可用。

  3. 3选择优化技术

    按需求用 Python API 组合量化、剪枝、NAS、蒸馏、投机解码、稀疏化等技术,生成优化后的量化 checkpoint。

  4. 4接入训练框架

    量化感知训练等需要训练的技术,需与 Megatron-Bridge、Megatron-LM 或 Hugging Face Accelerate 集成使用。

  5. 5导出并部署

    把优化后的量化 checkpoint 导出,交给 TensorRT-LLM、TensorRT、vLLM 等下游推理框架部署使用。

如何确认成功

README 未给出验证方式;可执行 pip show nvidia-modelopt 查看版本,确认包已装到当前 Python 环境。

常见问题

Q:pip 安装的包名是什么?

A:包名为 nvidia-modelopt,README 给出的安装命令是 pip install -U nvidia-modelopt[all],其中 [all] 表示安装全部可选依赖。

Q:支持哪些模型作为输入?

A:目前支持 Hugging Face、PyTorch 和 ONNX 三种来源的模型作为输入,优化后导出量化 checkpoint 供下游框架部署。

Q:能实现哪些优化技术?

A:包含量化、剪枝、神经架构搜索(NAS)、蒸馏、投机解码和稀疏化等,均为 state-of-the-art 的模型优化技术。

Q:想用最新特性怎么安装?

A:README 提到可用 editable 模式从源码安装并带全部开发依赖,但节选中该命令被截断,请以官方文档为准。

Q:优化后的模型部署到哪里?

A:可无缝接入 NVIDIA AI 软件生态,量化 checkpoint 可直接用于 TensorRT-LLM、TensorRT、vLLM 等下游推理框架。

注意事项

  • Model Optimizer 会自动下载并安装第三方开源软件,使用前请审阅这些项目的许可证条款。
  • 量化感知训练等训练相关优化需配合 Megatron-Bridge、Megatron-LM 或 Hugging Face Accelerate。
  • README 节选未给出最低 Python 版本、完整源码安装命令与验证方法,请以官网文档 https://nvidia.github.io/Model-Optimizer 为准。

核心亮点

  • 覆盖量化、蒸馏、剪枝、NAS、投机解码等多种 SOTA 优化技术,一个库统一调用
  • 与 TensorRT-LLM、TensorRT、vLLM 等下游部署框架打通,压缩后可直接导出使用
  • 由 NVIDIA 维护,和自家 GPU 推理生态结合紧密,工程落地路径清晰

不足之处

  • 与 NVIDIA 推理栈绑定较深,非 NVIDIA 硬件或非 TensorRT/vLLM 场景收益有限
  • 功能覆盖面广但各技术成熟度和文档深度可能不均衡,需按版本验证

适用场景

  • 把训练好的 LLM 量化压缩后部署到 TensorRT-LLM 提升吞吐
  • 用蒸馏和剪枝把大模型压缩成小模型以降低线上推理成本
  • 在 vLLM 服务中结合投机解码降低生成延迟

替代项目

Neural Compressor、LLM Compressor

上一篇:EasySteer

下一篇:NexRL

同类项目推荐

spiral 开源

让AI在对抗博弈中练出深度推理

SPIRAL: Self-Play on Zero-Sum Games Incentivizes Reasoning via Multi-Agent Multi-Tur···

★ 211 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1395 2026-08-13
cevahir-ai 开源

一站式搭建语言模型,从分词到聊天全流程

Cevahir Zihin: a mind that learns by living, not a Transformer. It keeps knowledge a···

★ 312 2026-08-09
adaptive-classifier 开源

让文本分类模型随新数据自动进化,无需频繁重训

A flexible, adaptive classification system for dynamic text classification

★ 577 2026-08-09
modelkit 开源

让 ML 模型开发到上线更省心

Toolkit for developing and maintaining ML models

★ 149 2026-08-09
amazon-sagemaker-examples 开源

照着跑一遍,轻松上手 AWS 机器学习全流程

Example Jupyter notebooks that demonstrate how to build, train, and deploy machine ···

★ 11020 2026-08-09
maestro 开源

一行命令微调多模态模型,快速搞定视觉语言任务

streamline the fine-tuning process for multimodal models: PaliGemma 2, Florence-2, a···

★ 2695 2026-08-10
xTuring 开源

拖拽式微调开源大模型,几分钟打造你的专属 LLM

Build, personalize and control your own LLMs. From data pre-processing to fine-tunin···

★ 2679 2026-08-09
MLM_Filter 开源

用多模态模型自动筛出高质量图文对,提升训练数据纯净度

Official implementation of our paper "Finetuned Multimodal Language Models are High-···

★ 71 2026-08-09