把大模型压到4比特，速度更快内存更省，精度还不掉链子。
OmniQuant 是一个针对大型语言模型（LLM）的量化技术，发表于 ICLR 2024 并被评为 spotlight。它旨在解决 LLM 在部署时内存和计算开销大的问题，通过一种简单而强大的量化方案，将模型权重和激活值压缩到低比特（如4比特），同时尽量保持模型精度。其核心能力包括：支持权重和激活的联合量化，采用可学习的量化参数和基于通道的缩放因子，通过优化过程自动调整量化参数，从而在极低比特下仍能保持较高的性能。OmniQuant 特别擅长处理激活值分布不均的难题，使得量化后的模型在推理时速度更快、内存占用更小，适合在资源受限的设备上部署。该项目提供了完整的训练和推理代码，并支持多种主流 LLM 架构，如 LLaMA、OPT 等，方便研究者复现和实际应用。
GPTQ、AWQ、LLM.int8()
OmniQuant 是模型训练领域的开源项目，由 OpenGVLab 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（949）位列前 30%，在模型训练分类中处于中上游。
近 42 天，它的 GitHub 星标从 907 增加到 949，净增 42。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：在边缘设备或手机上部署大模型，降低内存占用。同类可对比的替代方案包括 GPTQ、AWQ、LLM.int8()。
下一篇：KIVI
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
