项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 12308
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Python 与 pip 包管理器
- 支持 CUDA 的 NVIDIA GPU 或 AMD ROCm 环境（项目技术栈含 cuda/rocm/amd）
- 已安装并可运行 vLLM 等推理框架（如需与其集成）
安装与启动步骤
-
1准备运行环境
准备一台带 GPU 的机器和 Python 环境，LMCache 面向 LLM 推理加速，README 标注支持 CUDA 与 AMD ROCm。
-
2安装 LMCache
README 给出的唯一安装方式：用 pip 从包管理器安装 lmcache，建议在已激活的虚拟环境中执行。
pip install lmcache -
3验证安装成功
在命令行导入 lmcache 模块，不报 ModuleNotFoundError 即说明包已正确安装到当前环境。
python -c "import lmcache" -
4查阅安装与快速开始
README 未展开更多安装细节，更多安装选项和示例请前往官方 Installation 与 Quickstart 页面。
-
5参考配方与部署文档
需要接入具体推理框架或做生产部署时，查阅 LMCache Recipes、CLI Reference、基准测试与生产部署文档。
如何确认成功
执行 python -c "import lmcache" 无报错，即表示包已安装成功。
常见问题
Q：怎么安装 LMCache？
A：README 只给出一种方式：pip install lmcache。更多安装选项和依赖说明请查看官方 Installation 文档（docs.lmcache.ai）。
Q：怎么和 vLLM 等推理框架配合使用？
A：README 指向官方 Quickstart（docs.lmcache.ai/getting_started/quickstart.html）和 LMCache Recipes，里面给出了与主流推理框架集成的示例。
Q：没有 NVIDIA GPU 可以用吗？
A：项目技术栈包含 rocm 和 amd，官方有 AMD MI300X 的基准测试博客，具体硬件与依赖要求请以 Installation 文档为准。
Q：生产环境怎么部署？
A：README 提供了 Production Deployment 文档链接（docs.lmcache.ai/mp/deployment.html），并提到新的多进程（MP）架构。
注意事项
- 本教程仅依据 README 中出现的 pip install lmcache 编写，未包含任何 README 之外的参数或路径。
- README 未给出端口、配置项和启动文件，具体配置请以官方文档 docs.lmcache.ai 为准。
- 建议先 pip install lmcache，再按 Quickstart 接入现有推理服务。
核心亮点
- 跨请求KV复用，长对话/多轮场景吞吐提升数倍
- 分层存储（GPU/CPU/磁盘）自动调度，显存压力大减
- 与vLLM深度集成，一行代码接入主流推理栈
不足之处
- 文档/社区待观察
- 对非vLLM框架的适配尚不完善
适用场景
- 高并发多轮对话服务
- 长文档问答与摘要生成
- 多智能体协同推理
替代项目
vLLM、SGLang、KVQuant
上一篇：gateway
同类项目推荐
nano-vectordb
开源
百行代码搞定向量检索，轻松上手随意改
A simple, easy-to-hack Vector Database
llmgateway
开源
一个网关搞定所有大模型，统一管理、路由和分析请求。
Route, manage, and analyze your LLM requests across multiple providers with a unifie···
motorhead
开源
给 LLM 装上持久记忆，几行代码接入对话历史与语义检索。
Motorhead is a memory and information retrieval server for LLMs.
ComputeLibrary
开源
Arm 平台上的 CV/ML 算子加速库，榨干 CPU 与 GPU 性能。
The Compute Library is a set of computer vision and machine learning functions optim···
exllamav3
开源
消费级显卡上高速跑大模型，省显存还快
An optimized quantization and inference library for running LLMs locally on modern c···
claude-code-router
开源
本地路由层，让 AI Agent 自由切换模型、组合能力、掌控成本
One local control plane for every AI agent: route across models, fuse new capabiliti···
Crane
开源
纯 Rust 多模态推理引擎，一个栈跑通文本、视觉、语音与 OCR。
A Pure Rust based LLM, VLM, VLA, TTS, OCR Inference Engine, powering by Candle & Rus···
voyageai-python
开源
一行代码接入顶级文本嵌入和重排序，让语义搜索更准。
Voyage AI Official Python Library
llama-swap
开源
一个接口自动切换本地大模型，显存不够也能跑多模型
Reliable model swapping for any local AI server. Chosen by thousands of users. Batt···