STEPQuant

定位循环状态量化误差,让低比特 LLM 更稳

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 2 🐛 待处理 1
GitHub ↗
GitHub 星标 ★ 102
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源研究代码,免费使用

项目预览

STEPQuant 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队Dreamer-Toby
定价模式🏷️完全免费
价格说明开源研究代码,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型large-language-models,llm,post-training-quantization,quantization
GitHub 星标★ 102
上线时间2026-09-29 00:00:00
代码更新2026-10-23
仓库体积8.2 MB
本站数据更新2026-10-31
维护状态较活跃
收录时间2026-10-31
浏览次数0

项目介绍

STEPQuant 是一个面向大语言模型后训练量化的研究型工具,聚焦 Delta-Rule 循环状态(recurrent state)在量化过程中的误差来源。项目核心问题是:循环结构中的状态更新对量化误差高度敏感,但误差在时间步与状态维度上的分布并不均匀。STEPQuant 通过分析「何时」与「何处」出现误差,识别对量化最敏感的时间步和状态通道,并据此设计更精细的量化策略,在低比特条件下尽量保留循环状态的动态信息。项目以 Python 实现,覆盖 LLM 后训练量化流程,适合研究循环状态量化误差机制、探索低比特推理压缩的开发者参考与复现。整体处于早期研究阶段,代码规模与文档仍在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 102

核心亮点

  • 从时间步与状态维度两个角度定位量化误差,分析粒度比整体误差统计更细
  • 针对 Delta-Rule 循环状态设计量化策略,填补循环结构后训练量化的研究空白
  • 提供可复现的 Python 实验流程,便于在 LLM 量化研究中对比与扩展

不足之处

  • 早期项目,文档与使用示例较少,上手需要阅读源码
  • 主要面向研究实验,缺少开箱即用的推理部署与工程化接口

适用场景

  • 研究循环状态量化误差分布与敏感通道分析
  • 在低比特后训练量化中评估循环结构的精度损失
  • 作为 LLM 量化论文的基线或复现实验代码

替代项目

GPTQ、AWQ、SmoothQuant

上一篇:prismaquant

下一篇:没有了!

同类项目推荐

train-llm-from-scratch 开源

从数据到生成,手把手教你训练自己的大模型

A straightforward method for training your LLM, from downloading data to generating ···

★ 12991 2026-08-09
DARE 开源

给扩散大模型做对齐和强化训练的开源执行器

[COLM 2026] Official repository of DARE: Diffusion Large Language Models Alignment a···

★ 217 2026-10-28
AMD-LLM 开源

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

Training code and resources for AMD-135M language models on AMD GPUs.

★ 195 2026-08-09
Spectral-DeTuning 开源

一键还原生成模型微调前的原始权重,逆向去微调

Official PyTorch Implementation for the "Recovering the Pre-Fine-Tuning Weights of G···

★ 86 2026-08-09
plexe 开源

一句话描述,自动生成机器学习模型,快速验证想法

✨ Build a machine learning model from a prompt

★ 2645 2026-08-09
traceml 开源

一键诊断 PyTorch 训练瓶颈,提升 GPU 利用率

Find why PyTorch training is slow, compare runs, and catch performance regressions i···

★ 189 2026-08-09
deep-delta-learning 开源

学增量,少训练,模型升级快人一步

Official Project Page for Deep Delta Learning (https://arxiv.org/abs/2601.00417)

★ 365 2026-08-09
xTuring 开源

拖拽式微调开源大模型,几分钟打造你的专属 LLM

Build, personalize and control your own LLMs. From data pre-processing to fine-tunin···

★ 2676 2026-08-09