pegaflow
把 LLM 的 KV cache 分层存起来，跨卡跨机复用，推理更快更省显存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 221
核心亮点
- 用 Rust 实现，内存占用低、并发性能好，适合高吞吐推理服务
- 支持 GPU 显存、主机内存、SSD 三级分层缓存，显著扩大有效缓存容量
- 通过 RDMA 做跨节点 KV cache 共享，多机推理集群可复用同一份缓存
不足之处
- 项目处于早期阶段，API 与部署配置可能频繁变动，生产可用性待验证
- RDMA 跨节点共享依赖特定硬件与网络环境，普通部署难以发挥全部能力
- 文档与社区规模较小，遇到问题可参考的案例和讨论有限
适用场景
- 在线大模型推理服务中降低首 token 延迟并提升并发吞吐
- 多机多卡推理集群中跨节点复用 KV cache，减少重复 prefill 计算
- 长上下文、多轮对话场景下把 KV cache 卸载到 SSD，缓解显存压力
替代项目
LMCache、Mooncake、vLLM
上一篇：spark-ds41f
下一篇：没有了！
同类项目推荐
redis
开源
高性能内存数据库，搞定缓存、队列和实时查询
For developers, who are building real-time data-driven applications, Redis is the pr···
yek
开源
把整个代码库一键打包成 LLM 能懂的上下文
A fast Rust based tool to serialize text-based files in a repository or directory fo···
Switchyard
开源
不改代码，把 LLM 请求灵活分发到多模型多供应商
Switchyard lets LLM applications route traffic across models and providers while pre···
tiygate
开源
给 LLM 服务加个高可用保险，自动切换不宕机
TiyGate is a lightweight gateway for highly available LLM services. 一款致力于提供高···
ephemeral-sandbox
开源
让多个编码AI并行干活，互不干扰，结果可靠发布
Open-source agent sandbox infrastructure for parallel coding agents: isolated worksp···
scion
开源
用 Rust 自建一套可定制的版本控制系统
Implementation of Anthropic's version control system
dsc
开源
轻量C++张量库，快速搭建推理原型
Tensor library & inference framework for machine learning
LLaMA_MPS
开源
在 Mac 上让 LLaMA 跑得更快，用上 GPU 加速推理。
Run LLaMA (and Stanford-Alpaca) inference on Apple Silicon GPUs.
agent-console
开源
看清每轮 AI 编码花了多少 token 和钱
Local-first observability for AI coding agents. Every Claude Code and Codex session'···