项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 635
使用教程
环境要求
- GPU（显存不够可换更大压缩比）
- PyTorch 与推理框架
- 待量化模型权重
安装与启动步骤
-
1先看官方集成
它已经进了主流推理框架的量化模块，优先用官方路径而不是自己拼脚本。
-
2装环境
按仓库说明装依赖，注意与推理框架的版本对应。
-
3量化一个模型
它对校准数据不敏感，小模型几十秒就能完成量化。
-
4跑精度评测
量化后必须在自己任务上重测，别只看通用基准。
-
5对比显存与延迟
量化的收益要落在这两个指标上，跑同一批输入对比。
如何确认成功
量化后模型在同批输入上的显存占用明显下降，任务指标下降在可接受范围
注意事项
- 论文强调免校准，这对私有领域模型是实际优势。
- 低比特下小模型退化比大模型明显，别一刀切。
- 官方给了量化耗时数据，但那是特定卡型，实际会不同。
核心亮点
- ICML 2026 接收，学术背书强，方法经过同行评审
- 宣称“快速”量化，相比传统方法可能显著缩短量化时间
- 目标是“任意”LLM，通用性强，不限于特定架构
不足之处
- 文档/社区待观察
- 早期版本，API 和实现可能不稳定，生产环境风险高
- 量化效果缺乏第三方独立基准测试对比
适用场景
- 在消费级 GPU 上部署 7B/13B 级模型，降低显存压力
- 需要快速迭代量化版本，加速模型上线流程
- 边缘设备或移动端运行轻量级 LLM 应用
替代项目
GPTQ、AWQ、GGUF/llama.cpp
上一篇：LongCodeZip
同类项目推荐
xmtf
开源
多任务微调，让模型学会跨语言举一反三
Crosslingual Generalization through Multitask Finetuning
evo-memory
开源
给Transformer装上可扩展的神经记忆，突破上下文长度限制
Code to train and evaluate Neural Attention Memory Models to obtain universally-appl···
AdaptiveDiffusion
开源
不重训直接加速扩散模型，生成更快更省算力
[NeurIPS'24] Training-Free Adaptive Diffusion with Bounded Difference Approximation ···
AutoGPTQ
开源
一键量化大模型，显存减半推理加速
An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algo···
Primus
开源
在 AMD GPU 上高效训练大模型，开箱即用
A flexible and high-performance training framework designed for large-scale foundati···
AnglE
开源
用角度学习训练最强句子向量，登顶MTEB榜单
Train and Infer Powerful Sentence Embeddings with AnglE | SOTA on STS and MTEB Lead···
mlops-hf-tf-vision-models
开源
把Hugging Face视觉模型一键部署到生产流水线
MLOps for Vision Models (TensorFlow) from Transformers with TensorFlow Extended (TF···
SoftCoT
开源
用软思维链替代文本推理，大幅降低 LLM 推理成本
ACL'2025: SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs. and prep···
allamo
开源
轻量可改，小资源也能训模型
A lightweight, hackable, and efficient framework for training and fine-tuning langua···