kvcached

让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 237 🐛 待处理 106 👀 关注 62

GitHub ↗

GitHub 星标 ★ 2034

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。

项目预览

项目数据

分类基础设施

开发团队ovg-project

GitHubhttps://github.com/ovg-project/kvcached

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型elastic-kvcache,gpu-mutiplexing,gpu-sharing,inference-engine,kvcache,kvcache-optimization,kvcached,llm,llm-framework,llm-inference,llm-serving,ollama,online-offline-coserve,serverless,sglang,vllm

GitHub 星标★ 2034

上线时间2025-05-27 00:00:00

代码更新2026-11-08

仓库体积47.6 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-10

浏览次数7

项目介绍

kvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架，核心目标是解决多模型、多租户共享 GPU 时 KV 缓存资源利用率低、隔离性差的问题。它通过将 KV 缓存虚拟化，实现缓存的动态分配与弹性伸缩，支持在多个推理任务间按需共享 GPU 显存，从而提升整体吞吐和资源利用率。项目提供 Python 接口，可无缝集成主流推理引擎（如 vLLM、TGI），并支持细粒度的缓存调度策略，降低显存碎片化。其核心能力包括：缓存池化、动态扩容缩容、多租户隔离、以及基于负载的自动调优。适用于云服务商、AI 平台等需要高密度部署 LLM 服务的场景，能显著降低单请求成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 2034

技术标签

inference-engine llm llm-framework llm-inference llm-serving

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：库/依赖 5 步

环境要求

Python 3.9 至 3.13（README 徽章标注的支持范围）
已安装 pip，可访问 PyPI
如需容器方式，需本机已安装 Docker 并能拉取 ghcr.io 镜像
GPU 推理引擎（vLLM / SGLang）由官方镜像自带，无需自行准备

安装与启动步骤

1确认 Python 版本

kvcached 要求 Python 3.9~3.13，先检查本机版本是否落在该区间，不满足需先升级或切换环境。
```
python --version
```
2从 PyPI 安装

官方推荐方式，README 明确要求带上 --no-build-isolation 参数，建议在虚拟环境中执行。
```
pip install kvcached --no-build-isolation
```
3拉取 SGLang 镜像

若走容器方式，可拉取已集成 SGLang 的镜像，对应 kvcached-v0.1.5-sglang-v0.5.10。
```
docker pull ghcr.io/ovg-project/kvcached-sglang:latest
```
4拉取 vLLM 镜像

拉取集成 vLLM 的镜像，对应 kvcached-v0.1.5-vllm-v0.19.0，适合已有 vLLM 部署流程的用户。
```
docker pull ghcr.io/ovg-project/kvcached-vllm:latest
```
5拉取开发镜像

面向开发者的一站式镜像，包含完整开发环境，便于自行编译或二次开发调试。
```
docker pull ghcr.io/ovg-project/kvcached-dev:latest
```