Awesome-KV-Cache-Optimization

一页看懂 KV Cache 优化全景，快速选对推理加速方案

这是一个面向大模型推理服务的 KV Cache 优化综述仓库，对应 ACL 2026 论文《Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization》。它系统梳理了 LLM 服务中 KV Cache 带来的显存占用高、吞吐受限、长上下文成本大等问题，并按系统视角对现有优化方法进行分类整理，涵盖缓存压缩、量化、稀疏化、分页管理、前缀复用、调度与卸载等方向。仓库以论文清单和分类索引为主，帮助研究者与工程团队快速定位关键工作、理解不同技术的适用边界与权衡，是进入 LLM 推理加速与 KV Cache 优化领域的入门地图，而非可直接运行的加速库。