GuidedQuant

用端到端损失引导量化，让大模型压缩后不掉点

GuidedQuant 是 ICML 2025 论文的官方 PyTorch 实现，提出一种利用端到端损失引导的大语言模型量化方法。传统量化方法通常依赖逐层或局部误差最小化，容易导致误差累积，影响模型性能。GuidedQuant 通过将最终输出损失作为引导信号，在量化过程中动态调整权重，从而显著减少量化带来的精度损失。该方法支持低比特量化（如4-bit、8-bit），并兼容主流 LLM 架构（如 LLaMA、GPT 等）。核心能力包括：端到端损失感知的量化流程、高效的优化算法、以及即插即用的 API 设计。项目处于早期阶段，代码库简洁，适合研究者和工程师快速上手，用于模型压缩和边缘部署。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 57

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队snu-mllab

所属国家

官网地址

GitHubhttps://github.com/snu-mllab/GuidedQuant

定价模式free

价格说明开源项目，MIT许可证，完全免费，无付费版本。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型efficient-inference,large-language-models,llm-inference,llm-quantization,quantization

GitHub 星标★ 57

30天Star增速

HF 下载量

上线时间2025-05-11 00:00:00

最近更新2026-09-21 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数2

使用教程

核心亮点

端到端损失引导机制，相比逐层量化更能保留模型全局精度
官方实现，代码结构清晰，易于复现论文结果
支持低比特量化，显著降低模型内存占用和推理延迟

不足之处

文档/社区待观察
目前仅支持 PyTorch，未覆盖 TensorFlow 等框架

适用场景

在资源受限的移动端或边缘设备部署大语言模型
需要将大模型压缩至低比特以降低推理成本
研究量化算法时作为基线或对比方法

替代项目

GPTQ、AWQ、LLM.int8()

项目介绍

GuidedQuant 是模型训练领域的开源项目，由 snu-mllab 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 57。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。MIT许可证，完全免费，无付费版本。

它主要面向的使用场景是：在资源受限的移动端或边缘设备部署大语言模型。同类可对比的替代方案包括 GPTQ、AWQ、LLM.int8()。

上一篇：SIM-CoT

下一篇：dParallel