OrbitKV

把大模型 KV 缓存搬出显存，长上下文更省更稳

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 18 🐛 待处理 1 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 280
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，定价信息待确认

项目预览

OrbitKV 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队OrbitInfra
官网地址https://orbitinfra.github.io/OrbitKV
GitHubhttps://github.com/OrbitInfra/OrbitKV
定价模式🏷️完全免费
价格说明开源免费，定价信息待确认
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型attention,kv-cache,kv-cache-offloading,llm-inference,llm-serving,memory-management,orbite,orbitkv,prefix-caching,rust,sglang,vllm
GitHub 星标★ 280
上线时间2025-03-31 00:00:00
代码更新2026-11-10
仓库体积38.1 MB
本站数据更新2026-11-11
维护状态活跃
收录时间2026-11-11
浏览次数0

项目介绍

OrbitKV 是一个用 Rust 编写的 KV Cache 存储层，面向 vLLM 与 SGLang 这类大模型推理框架，解决多轮对话、长上下文与高并发场景下 KV Cache 占用显存过多、前缀重复计算导致吞吐下降的问题。它把注意力计算产生的 KV 缓存从 GPU 显存卸载到外部存储，并在需要时按前缀命中情况快速回填，从而让推理服务在有限显存下承载更长上下文和更多并发请求。核心能力包括前缀缓存复用、KV Cache 卸载与分层内存管理，以及面向推理服务的低开销数据通路。项目处于早期阶段，星标约 280，适合关注 LLM 推理性能优化的团队做技术验证与二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 280

核心亮点

  • 用 Rust 实现，内存安全与低延迟开销兼顾，适合高频访问的缓存数据通路
  • 直接对接 vLLM 和 SGLang，无需改动上层推理业务即可接入
  • 支持 KV Cache 卸载与前缀缓存复用，减少重复计算、提升显存利用率

不足之处

  • 项目早期，接口与部署方式可能快速变化，生产使用需评估稳定性
  • 文档与社区规模较小，遇到问题可参考的案例和排障资料有限

适用场景

  • 多轮对话服务中复用历史前缀，降低首 token 延迟
  • 长上下文推理场景下把 KV 缓存卸载到外部存储，缓解显存压力
  • 高并发 LLM 推理集群中提升单卡可承载的请求数

替代项目

LMCache、vLLM、SGLang

上一篇：vllm-sly-radiance

下一篇：matrixhub

同类项目推荐

stable-diffusion-docker 开源

一键启动全功能AI绘画环境，省去配置烦恼

Docker image for Stable Diffusion WebUI with ControlNet, After Detailer, Dreambooth,···

★ 76 2026-08-09
InferrLM 开源

在手机本地跑 AI，无需联网，保护隐私

InferrLM - On-device AI for iOS & Android

★ 114 2026-08-09
ungate 开源

用订阅账号在 Cursor 里白嫖 AI，省下 API 钱

Use your Claude and ChatGPT subscriptions in Cursor instead of paying for API tokens···

★ 234 2026-08-09
airllm 开源

4GB 显卡跑 70B 大模型，显存不够也能玩转

AirLLM 2.8T LLM inference with single 4GB GPU

★ 42089 2026-08-09
rkllama 开源

在瑞芯微开发板上像 Ollama 一样本地跑大模型

Ollama alternative for Rockchip NPU: An efficient solution for running AI and Deep l···

★ 624 2026-09-16
xllm 开源

一套引擎，跑遍各类模型和加速器，推理更快更省心。

A high-performance inference engine for LLM, VLM and DiT models, optimized for diver···

★ 1619 2026-08-09
chatgpt2api 开源

逆向ChatGPT官网，白嫖文本和图像生成，兼容OpenAI接口，批量管理号池。

ChatGPT官网接口纯协议的逆向实现，支持注册机维持号池额度，支持GPT-Image-2模型、文本模···

★ 1008 2026-08-09
mlreef 开源

一站式 ML 协作平台，让团队高效管理代码、数据与实验。

The collaboration workspace for Machine Learning

★ 1463 2026-08-09
Neumann 开源

一套存储搞定表格、图谱和向量，查询不用再拼装

A Rust runtime that unifies relational tables, graph relationships, and vector embed···

★ 75 2026-08-09