KVzip 是基础设施领域的开源项目，由 snu-mllab 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 225。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。MIT许可证，完全免费，无付费版本。
它主要面向的使用场景是：大模型API服务中降低长对话的显存成本。同类可对比的替代方案包括 H2O、StreamingLLM、KVQuant。
KVzip
长文本推理显存直降4倍，延迟减半，即插即用
KVzip 是一个针对大语言模型推理的 KV 缓存压缩工具，核心解决长上下文场景下显存占用过高和推理延迟大的问题。它采用查询无关（query-agnostic）的缓存淘汰策略，在生成过程中动态识别并移除不重要的键值对，无需依赖特定查询即可实现 3 到 4 倍的显存缩减和 2 倍的延迟降低。项目支持 Qwen3、Qwen2.5、Gemma3 和 LLaMA3 等主流模型，提供即插即用的集成方式，并已在 NeurIPS 2025 上作为 Oral 论文发表，算法经过学术验证。其核心能力包括高效的内存管理、与 HuggingFace 生态的兼容性，以及针对长文本推理的优化，适合部署在资源受限或高吞吐场景中。
开源
free
开源模型
GitHub 星标
★ 225
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队snu-mllab
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型kv-cache-compression,large-language-models
GitHub 星标★ 225
30天Star增速
HF 下载量
上线时间2025-05-28 00:00:00
最近更新2026-09-15 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 显存占用减少3-4倍，实测数据明确，对长上下文场景效果显著
- 延迟降低2倍，提升推理吞吐，适合高并发服务
- 查询无关策略无需预知用户问题，部署简单，适配多种主流模型
不足之处
- 文档/社区待观察
- 仅支持特定模型架构，对新兴模型适配需额外工作
适用场景
- 大模型API服务中降低长对话的显存成本
- 边缘设备或GPU资源受限环境下的模型推理
- 高吞吐批处理场景，如离线文档摘要生成
替代项目
H2O、StreamingLLM、KVQuant
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···