KIVI
2bit 量化 KV Cache，长上下文推理显存减半不降质
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 438
使用教程
环境要求
- NVIDIA GPU
- CUDA
- 模型权重
安装与启动步骤
-
1建环境
官方指定 Python 3.10。
conda create -n kivi python=3.10 -
2装主包
可编辑安装，注意新版 pip 才支持。
pip install -e . -
3装量化内核
它在单独目录里，要再装一次。
cd quant && pip install -e . -
4跑示例对比显存
同一模型开与不开量化，比较显存与速度。
python example.py -
5跑长上下文测试
长文本才是它的主场景。
bash scripts/long_test.sh 0 2 2 32 128 <模型名>
如何确认成功
同一模型开启 2bit 缓存量化后显存占用明显下降，而长文本任务上的质量下降在可接受范围
注意事项
- 它只量化 KV 缓存，不改模型权重，属于免训练方案。
- 2bit 在长上下文收益最大，短文本场景几乎看不出差别。
- 量化内核需要编译，CUDA 版本不匹配会失败。
- 极低位宽在需要精确回忆的任务上会掉点，按场景选位宽。
- 评估要跑长文本基准，用短问答看不出问题。
核心亮点
- 非对称量化设计：Key 按通道、Value 按 token，兼顾精度与速度
- 免调优：无需微调或重新训练，即插即用
- 实测效果显著：内存占用降低 2.6-4 倍，速度提升 1.7-2.4 倍
不足之处
- 仅支持特定模型架构，通用性有限
- 文档/社区待观察
适用场景
- 长文本生成（如文档摘要、对话历史）
- 显存受限的本地推理部署
- 需要降低推理成本的服务端场景
替代项目
KVQuant、ZipKV、GEAR
同类项目推荐
ComfyUI-TrainTools-MZ
开源
在 ComfyUI 里拖拽节点，轻松训练自己的 LoRA 模型
在ComfyUI中进行lora微调的节点,依赖于kohya-ss/sd-scripts等训练工具(Nodes for fine-tun···
BloomBee
开源
多台普通设备拼起来，也能微调和跑大模型
Decentralized LLMs fine-tuning and inference with offloading
Liger-Kernel
开源
不改模型结构，给 LLM 训练省显存提吞吐
Efficient Triton Kernels for LLM Training
Skills
开源
给大模型装技能插件，按需组合快速增强能力
A project to improve skills of large language models
deita
开源
用更少的高质量数据，训出更强的对齐模型
Deita: Data-Efficient Instruction Tuning for Alignment [ICLR2024]
reasoning-from-scratch
开源
从零手写推理模型，彻底搞懂 o1 原理
Implement a reasoning LLM in PyTorch from scratch, step by step
LLM-ESR
开源
让大模型推理步步为营，减少中间错误，提升最终答案准确率。
[NeurIPS'24 Spotlight] The official implementation code of LLM-ESR.
Adam-mini
开源
用更少学习率，训更快更大模型，省显存提性能。
Code for Adam-mini: Use Fewer Learning Rates To Gain More https://arxiv.org/abs/2406···
LoongForge
开源
一套框架，NVIDIA 和昆仑芯通吃，搞定大模型全流程训练
A high-performance framework for training LLMs, VLMs, diffusion, and embodied models···