让 GPU 显存像云硬盘一样弹性共享，多模型推理不再浪费缓存。
kvcached 是一个面向大语言模型推理场景的虚拟化弹性 KV 缓存管理框架，核心目标是解决多模型、多租户共享 GPU 时 KV 缓存资源利用率低、隔离性差的问题。它通过将 KV 缓存虚拟化，实现缓存的动态分配与弹性伸缩，支持在多个推理任务间按需共享 GPU 显存，从而提升整体吞吐和资源利用率。项目提供 Python 接口，可无缝集成主流推理引擎（如 vLLM、TGI），并支持细粒度的缓存调度策略，降低显存碎片化。其核心能力包括：缓存池化、动态扩容缩容、多租户隔离、以及基于负载的自动调优。适用于云服务商、AI 平台等需要高密度部署 LLM 服务的场景，能显著降低单请求成本。
1确认 Python 版本
kvcached 要求 Python 3.9~3.13，先检查本机版本是否落在该区间，不满足需先升级或切换环境。
python --version2从 PyPI 安装
官方推荐方式，README 明确要求带上 --no-build-isolation 参数，建议在虚拟环境中执行。
pip install kvcached --no-build-isolation3拉取 SGLang 镜像
若走容器方式，可拉取已集成 SGLang 的镜像，对应 kvcached-v0.1.5-sglang-v0.5.10。
docker pull ghcr.io/ovg-project/kvcached-sglang:latest4拉取 vLLM 镜像
拉取集成 vLLM 的镜像，对应 kvcached-v0.1.5-vllm-v0.19.0，适合已有 vLLM 部署流程的用户。
docker pull ghcr.io/ovg-project/kvcached-vllm:latest5拉取开发镜像
面向开发者的一站式镜像，包含完整开发环境，便于自行编译或二次开发调试。
docker pull ghcr.io/ovg-project/kvcached-dev:latest执行 pip show kvcached 能显示版本信息；用 docker images 能看到已拉取的 kvcached 镜像。
Q：支持哪些 Python 版本？
A：README 徽章标注支持 Python 3.9 到 3.13，低于 3.9 或高于 3.13 的版本未声明兼容，建议切换版本后再安装。
Q：安装时为什么建议加 --no-build-isolation？
A：README 给出的安装命令即为 pip install kvcached --no-build-isolation，直接照抄该参数可避免构建隔离导致的依赖问题。
Q：该用哪个 Docker 镜像？
A：按推理引擎选：用 SGLang 选 kvcached-sglang，用 vLLM 选 kvcached-vllm；需要开发调试环境则选 kvcached-dev。
Q：有 GB200 的镜像吗？
A：README 说明 GB200 的 Docker 镜像仍在准备中（on the way），暂未提供，可关注仓库后续更新。
Q：从哪里获取更多资料？
A：README 提供了 DeepWiki 文档、kvcached.org 主页、Slack 交流群以及两篇 arXiv 论文链接，可据此深入了解。
vLLM、SGLang、TensorRT-LLM
kvcached 是基础设施领域的开源项目，由 ovg-project 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（1,484）位列前 30%，在基础设施分类中处于中上游。
近 45 天，它的 GitHub 星标从 1,130 增加到 1,484，净增 354。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0 许可证，可自由使用和部署，无付费版本。
它主要面向的使用场景是：云服务商多租户LLM推理平台。同类可对比的替代方案包括 vLLM、SGLang、TensorRT-LLM。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···