prismaquant
按层敏感度自动分配量化精度，省显存不掉点
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 105
核心亮点
- 按层敏感度自动选择量化格式，比统一比特量化更精细
- 导出 compressed-tensors 原生格式，可直接对接主流推理栈
- 在 MoE 模型与 MTP 投机解码场景下有实际验证案例
不足之处
- 项目处于早期，星标约百级，生态与文档成熟度待观察
- 逐层敏感度分析需要额外校准开销，流程比一键量化更重
适用场景
- 显存受限环境下部署 30B 级 MoE 大模型
- 需要在量化后尽量保持推理精度的生产部署
- 与 compressed-tensors 推理框架配合做模型压缩流水线
替代项目
GPTQ、AWQ、llm-compressor
下一篇：STEPQuant
同类项目推荐
jax-llm-examples
开源
纯JAX极简代码，跑通LLM训练与推理
Minimal yet performant LLM examples in pure JAX
xTuring
开源
拖拽式微调开源大模型，几分钟打造你的专属 LLM
Build, personalize and control your own LLMs. From data pre-processing to fine-tunin···
FastVideo
开源
生成提速几十倍，再也不用干等出片
A unified inference and post-training framework for accelerated video generation.
SiLLM
开源
在 Mac 上轻松训练和运行大模型，无需 NVIDIA GPU。
SiLLM simplifies the process of training and running Large Language Models (LLMs) on···
olmoearth_pretrain
开源
用卫星数据预训练地球基础模型，开箱即用
Earth system foundation model data, training, and eval
kohya-colab
开源
打开 Colab 就能训自己的 SD LoRA
Accessible Google Colab notebooks for Stable Diffusion Lora training, based on the w···
AI-Toolkit-Easy-Install
开源
Windows 上一键装好 AI 微调工具，免折腾环境直接开训
One-click Portable Windows installation of 'AI-Toolkit by Ostris'
Dreambooth-Stable-Diffusion
开源
用几张照片，训练专属 Stable Diffusion 模型，生成你的定制图像。
Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) by way of Textual In···
Sklearn-genetic-opt
开源
用遗传算法自动调参，告别网格搜索的低效
Hyperparameter optimization and feature selection for scikit-learn using evolutionar···