Awesome-KV-Cache-Optimization

一页看懂 KV Cache 优化全景，快速选对推理加速方案

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 评测安全 🍴 复刻 28 👀 关注 17
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 425
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，论文配套资源列表

项目预览

Awesome-KV-Cache-Optimization 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类评测安全
开发团队jjiantong
官网地址https://jjiantong.github.io/Awesome-KV-Cache-Optimization
GitHubhttps://github.com/jjiantong/Awesome-KV-Cache-Optimization
定价模式🏷️完全免费
价格说明开源免费，论文配套资源列表
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
主要语言Python
技术栈/模型ai,computer-architecture,kv-cache,llm,llm-inference,llm-serving,machine-learning,mlsys,neural-language-processing,serving-ml,system
GitHub 星标★ 425
上线时间2025-10-29 00:00:00
代码更新2026-10-23
仓库体积6.4 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-09-25
浏览次数1

项目介绍

这是一个面向大模型推理服务的 KV Cache 优化综述仓库，对应 ACL 2026 论文《Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization》。它系统梳理了 LLM 服务中 KV Cache 带来的显存占用高、吞吐受限、长上下文成本大等问题，并按系统视角对现有优化方法进行分类整理，涵盖缓存压缩、量化、稀疏化、分页管理、前缀复用、调度与卸载等方向。仓库以论文清单和分类索引为主，帮助研究者与工程团队快速定位关键工作、理解不同技术的适用边界与权衡，是进入 LLM 推理加速与 KV Cache 优化领域的入门地图，而非可直接运行的加速库。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-25 · 当前星标 ★ 425

使用教程

难度：入门 约 8 分钟 部署方式：无需部署 4 步

环境要求

  • 无需环境

安装与启动步骤

  1. 1先读综述再看清单

    仓库对应一篇会议综述，脉络比条目列表清晰。

  2. 2按压缩对象分类

    有的压键值缓存本身，有的压注意力计算，方向不同。

  3. 3关注评测条件

    不同方法在上下文长度与批大小上表现差异很大。

  4. 4对照自己的推理框架

    清单里的方法未必在你用的框架上有实现。

如何确认成功

你能说清两种主流缓存压缩路线在长上下文场景下的取舍，并指出你当前框架支持哪一种

注意事项

  • 这是论文与方法清单，配套一篇综述，不是可运行的工具。
  • 条目以学术工作为主，工程可用性差异很大。
  • 压缩收益与上下文长度强相关，短文本场景几乎看不出差别。
  • 评测口径不统一时跨论文比数字没有意义。

核心亮点

  • 按系统视角对 KV Cache 优化方法做分类索引，覆盖压缩、量化、分页、卸载等主流方向
  • 汇总 ACL 2026 综述论文与相关文献，便于快速定位代表工作与对比技术路线
  • 聚焦 LLM 服务真实瓶颈（显存与吞吐），对工程选型有直接参考价值

不足之处

  • 以论文清单和索引为主，缺少可运行代码与基准测试，无法直接落地加速
  • 早期项目，内容更新与社区维护节奏有待观察

适用场景

  • 研究 LLM 推理加速时快速调研 KV Cache 优化技术路线
  • 工程团队为大模型服务选型缓存压缩或分页方案时做背景参考
  • 撰写论文或技术报告时查找该领域代表工作与分类框架

替代项目

Awesome-LLM-Inference、vLLM

上一篇：Awesome-LLM-Reasoning-Failures

下一篇：Awesome-Mental-Health-LLMs

同类项目推荐

Awesome-MLLM-Uncertainty 开源

一页看尽多模态模型不确定性研究，快速定位关键论文

✨A curated list of papers on the uncertainty in multi-modal large language model (M···

★ 59 2026-08-09
sim-evals 开源

把机器人策略丢进仿真跑分，省下真机评测的麻烦

A simulation evaluation platform for DROID

★ 243 2026-09-14
harbor 开源

在真实终端里给智能体打分，让改进有据可依

Framework for evaluating and improving agents

★ 6893 2026-08-10
Awesome-LLM-Eval 开源

一站式找全 LLM 评测资源，快速选型不踩坑

Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···

★ 659 2026-08-09
SWE-bench_Pro-os 开源

用长周期工程任务，真实测出 AI Agent 的软件工程上限

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?

★ 558 2026-10-01
hash-hop 开源

自动生成超长文本定位题，快速测出模型长上下文真本事

Long context evaluation for large language models

★ 228 2026-09-25
ares 开源

让红蓝 AI 智能体在真实环境里对打，评测攻防实力

Ares is an autonomous security operations platform where LLM-driven red and blue tea···

★ 103 2026-11-06
AttackVLM 开源

给视觉语言模型找茬，一键测出安全漏洞

[NeurIPS, 500+ Citations!] Alignment & Safety for multimodal foundation models

★ 233 2026-08-09