项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 58
核心亮点
- 端到端损失引导机制，相比逐层量化更能保留模型全局精度
- 官方实现，代码结构清晰，易于复现论文结果
- 支持低比特量化，显著降低模型内存占用和推理延迟
不足之处
- 文档/社区待观察
- 目前仅支持 PyTorch，未覆盖 TensorFlow 等框架
适用场景
- 在资源受限的移动端或边缘设备部署大语言模型
- 需要将大模型压缩至低比特以降低推理成本
- 研究量化算法时作为基线或对比方法
替代项目
GPTQ、AWQ、LLM.int8()
同类项目推荐
lorax
开源
一个服务跑上千个微调模型，省 GPU 又省心
Multi-LoRA inference server that scales to 1000s of fine-tuned LLMs
finetune-index-tts
开源
用笔记本微调 IndexTTS，打造专属声音模型
IndexTTS Fine-tuning notebooks
FedML
开源
一键跨云调度，轻松搞定分布式与联邦学习
FEDML - The unified and scalable ML library for large-scale distributed training, mo···
ORLM
开源
让大模型看懂业务问题，自动写出优化模型代码
ORLM: Training Large Language Models for Optimization Modeling
ms-swift
开源
一条命令微调千种大模型，从训练到部署全搞定
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···
neural-compressor
开源
一键压缩大模型，低比特量化提速省内存
SOTA low-bit LLM quantization (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) & sparsity; leading ···
petals
开源
在家用 BitTorrent 方式跑大模型，推理微调快 10 倍
Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than ···
dashAI
开源
可视化训练评估部署，一条龙搞定 AI 模型
dashAI: an interactive platform for training, evaluating and deploying AI models
VeOmni
开源
声明式配方，把任意模态大模型训练一键扩展到多机多卡
VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zo···