Mooncake

环境要求

• 已安装 Python 与 pip 的运行环境
• NVIDIA GPU 及 CUDA 环境（README 按 CUDA 是否小于 13.0 区分安装包）
• 如需其它加速器后端（华为、AMD、寒武纪、摩尔线程等）或从源码构建，需按官网文档准备
• 多机部署需要 RDMA 等高速互联网络支持

安装与启动步骤

1. 1确认 CUDA 版本

   Mooncake 依据 CUDA 版本提供两个 pip 安装包：CUDA 小于 13.0 与 CUDA 大于等于 13.0，需先确认本机 CUDA 版本再选择对应包。

2. 2安装（CUDA<13.0）

   CUDA 版本低于 13.0 时安装 mooncake-transfer-engine，该包包含 Transfer Engine、Mooncake Store、Mooncake EP 与 PG。

   pip install mooncake-transfer-engine

   复制

3. 3安装（CUDA≥13.0）

   CUDA 版本为 13.0 及以上时改用 mooncake-transfer-engine-cuda13，功能与前者一致，只是适配更高版本 CUDA。

   pip install mooncake-transfer-engine-cuda13

   复制

4. 4查阅快速开始

   README 将完整安装与部署说明指向官网 Quick Start 与 Build from Source 文档，装完后按文档继续配置。

5. 5对接推理框架

   按官网集成指南把 Mooncake 作为 SGLang 或 vLLM 的 KV 缓存传输与存储后端，用于 PD 分离部署。

如何确认成功

README 未给出启动验证命令，安装完成后请按官网 Quick Start 文档验证环境与后端是否可用。

常见问题

注意事项

• 本教程内容全部来自 README 节选，官方完整说明以 https://kvcache-ai.github.io/Mooncake/ 文档为准。
• README 仅提供 pip 安装方式，源码构建、Mooncake Store 部署等细节需查阅官网对应文档。
• Mooncake 面向生产级大规模 LLM 推理场景，实际部署通常涉及多节点与 RDMA 网络，单机 pip 安装只是第一步。
• 技术栈涉及 vLLM、SGLang、TRT-LLM 等，请确认目标推理框架版本与官网集成指南一致。