
GPTCache
给 LLM 加个语义缓存,重复问题秒回,省钱又提速
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8221
技术标签
使用教程
环境要求
- Python 3.8.1 或更高版本
- 已安装 pip(版本过低需先升级)
- 示例运行需要 OPENAI_API_KEY 环境变量
- 可访问 PyPI 安装 gptcache 包
安装与启动步骤
-
1检查 Python 版本
GPTCache 要求 Python 3.8.1 以上,先确认本机版本是否满足,不满足需先升级 Python。
python --version -
2升级 pip
如果安装库时因 pip 版本过低报错,先升级 pip 再继续后续安装。
python -m pip install --upgrade pip -
3安装 GPTCache
官方推荐的快速安装方式,一条命令即可装好基础缓存功能,额外特性所需库会自动安装。
pip install gptcache -
4设置 API Key
运行官方示例前必须设置 OPENAI_API_KEY。Unix/Linux/MacOS 用 export,仅当前会话有效。
export OPENAI_API_KEY=sk-xxxxxxxx -
5Windows 设置密钥
Windows 系统改用 set 命令设置同一环境变量,写法与 Unix 不同。
set OPENAI_API_KEY=YOUR_API_KEY -
6确认密钥已生效
通过 echo 打印环境变量,确认输出的是刚设置的密钥,再运行示例代码。
echo $OPENAI_API_KEY -
7源码开发安装(可选)
需要基于源码开发时,克隆仓库后安装依赖并执行 setup.py 安装到本地环境。
pip install -r requirements.txt python setup.py install
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
OPENAI_API_KEY | 是 | 调用 OpenAI 接口所需的密钥,示例运行前必须设置 | sk-xxxxxxxx |
如何确认成功
pip install 无报错即安装成功;执行 echo $OPENAI_API_KEY 能打印出密钥值,说明环境已就绪。
常见问题
Q:提示 Python 版本不支持怎么办?
A:GPTCache 要求 Python 3.8.1 或更高版本,先用 python --version 查看当前版本,低于该版本请先升级 Python 再安装。
Q:安装依赖库时报错如何解决?
A:多为 pip 版本过低导致,先运行 python -m pip install --upgrade pip 升级 pip,然后重新执行安装命令。
Q:设置了 OPENAI_API_KEY 但重启后失效?
A:export 或 set 只对当前会话临时生效。需要永久生效请修改环境变量配置文件,例如 Mac 上的 /etc/profile。
Q:想用非 Python 语言调用 GPTCache?
A:官方已发布 GPTCache server 的 Docker 镜像,任何语言都可以通过该服务端使用 GPTCache,具体用法见官方 usage 文档。
Q:默认安装的库够用吗?
A:默认只安装支持基础缓存功能的少量库;当使用额外特性时,相关依赖库会被自动安装。
注意事项
- 项目仍在快速迭代,API 可能随时变化,请以最新官方文档和 release note 为准。
- 官方已不再新增对新 API 或模型的支持,鼓励使用 gptcache 的 get 和 set API。
- export / set 设置的环境变量仅当前会话有效,重启终端后需重新设置。
- GPTCache 已与 LangChain 完全集成,可参考官方给出的 LangChain 集成用法说明。
核心亮点
- 语义相似度匹配,能命中改写或同义问题,比传统精确缓存更聪明
- 与 LangChain、llama_index 深度集成,几行代码即可接入现有应用
- 支持 Redis、Milvus 等多种后端,可灵活扩展为分布式缓存
不足之处
- 语义匹配依赖嵌入模型质量,误判可能返回不相关结果
- 缓存命中率在高度个性化或动态数据场景下可能较低
- 文档/社区待观察
适用场景
- 高频客服问答机器人,减少重复问题带来的 API 开销
- 企业内部知识库查询,加速相似问题的响应速度
- 多轮对话中常见问题快速回复,提升交互流畅度
替代项目
Redis(配合向量模块)、LanceDB、ChromaDB
上一篇:log10
下一篇:LLamaSharp
同类项目推荐
ai
开源
用 Stripe 打通 AI 产品从开发到收费的全流程,快速上线赚钱。
One-stop shop for building AI-powered products and businesses with Stripe.
Bailo
开源
一站式管理 ML 模型全生命周期,让模型资产安全共享、合规可溯。
Managing the lifecycle of machine learning to support scalability, impact, collabora···
unstructured
开源
把 PDF/Word 等复杂文档,一键变成 LLM 能用的干净数据
Convert documents to structured data effortlessly. Unstructured is open-source ETL s···
CatGPT-Gateway
开源
把网页版 ChatGPT/Claude 变成免费 API,免密钥直接调用
Turn your ChatGPT or Claude account into a fully working OpenAI-compatible API. No A···
terraform-aws-metaflow
开源
用 Terraform 在 AWS 上快速搭建生产级 Metaflow 环境
Deploy production-grade Metaflow cloud infrastructure on AWS
JetStream
开源
在 TPU 上榨干每一分性能,让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
omegaml
开源
一站式搞定模型从训练到上线,省心省力
MLOps simplified. One-stop AI delivery platform, all the features you need.
temps
开源
一个 Rust 二进制,搞定部署、监控、分析和 AI 代理集成
AI-native open-source alternative to Vercel + Sentry + PostHog + Pingdom + Resend + ···
M365-Copilot2API
开源
把 M365 Copilot 变成 OpenAI 接口,客户端零改动直接调
Microsoft 365 Copilot → OpenAI / Anthropic 兼容 API 网关。