GPTCache

给 LLM 加个语义缓存,重复问题秒回,省钱又提速

GPTCache 是一个面向大语言模型(LLM)的语义缓存工具,核心解决 LLM 推理成本高、响应慢的问题。它通过缓存相似的查询结果,让重复或相近的请求直接命中缓存,无需再次调用昂贵的模型 API。项目深度集成 LangChain 和 llama_index,支持 OpenAI 等多种模型后端,并兼容 Redis、Milvus 等主流存储和向量数据库。其核心能力包括:基于嵌入向量的语义相似度匹配、可定制的缓存策略(如相似度阈值、过期时间)、以及分布式部署支持。开发者可以轻松将其嵌入现有 LLM 应用,显著降低 API 费用并提升用户体验,尤其适合高频交互场景。

开源 free 对话助手
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 8201
维护状态 活跃
是否开源
定价模式 free

项目数据

分类对话助手
开发团队zilliztech
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型aigc,autogpt,babyagi,chatbot,chatgpt,chatgpt-api,dolly,gpt,langchain,llama,llama-index,llm,memcache,milvus,openai,redis,semantic-search,similarity-search,vector-search
GitHub 星标★ 8201
30天Star增速
HF 下载量
上线时间2023-03-24 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 3.8.1 或更高版本
  • 已安装 pip(版本过低需先升级)
  • 示例运行需要 OPENAI_API_KEY 环境变量
  • 可访问 PyPI 安装 gptcache 包

安装与启动步骤

  1. 1检查 Python 版本

    GPTCache 要求 Python 3.8.1 以上,先确认本机版本是否满足,不满足需先升级 Python。

    python --version
  2. 2升级 pip

    如果安装库时因 pip 版本过低报错,先升级 pip 再继续后续安装。

    python -m pip install --upgrade pip
  3. 3安装 GPTCache

    官方推荐的快速安装方式,一条命令即可装好基础缓存功能,额外特性所需库会自动安装。

    pip install gptcache
  4. 4设置 API Key

    运行官方示例前必须设置 OPENAI_API_KEY。Unix/Linux/MacOS 用 export,仅当前会话有效。

    export OPENAI_API_KEY=sk-xxxxxxxx
  5. 5Windows 设置密钥

    Windows 系统改用 set 命令设置同一环境变量,写法与 Unix 不同。

    set OPENAI_API_KEY=YOUR_API_KEY
  6. 6确认密钥已生效

    通过 echo 打印环境变量,确认输出的是刚设置的密钥,再运行示例代码。

    echo $OPENAI_API_KEY
  7. 7源码开发安装(可选)

    需要基于源码开发时,克隆仓库后安装依赖并执行 setup.py 安装到本地环境。

    pip install -r requirements.txt
    python setup.py install

关键配置

配置项必填说明示例
OPENAI_API_KEY调用 OpenAI 接口所需的密钥,示例运行前必须设置sk-xxxxxxxx

如何确认成功

pip install 无报错即安装成功;执行 echo $OPENAI_API_KEY 能打印出密钥值,说明环境已就绪。

常见问题

Q:提示 Python 版本不支持怎么办?

A:GPTCache 要求 Python 3.8.1 或更高版本,先用 python --version 查看当前版本,低于该版本请先升级 Python 再安装。

Q:安装依赖库时报错如何解决?

A:多为 pip 版本过低导致,先运行 python -m pip install --upgrade pip 升级 pip,然后重新执行安装命令。

Q:设置了 OPENAI_API_KEY 但重启后失效?

A:export 或 set 只对当前会话临时生效。需要永久生效请修改环境变量配置文件,例如 Mac 上的 /etc/profile。

Q:想用非 Python 语言调用 GPTCache?

A:官方已发布 GPTCache server 的 Docker 镜像,任何语言都可以通过该服务端使用 GPTCache,具体用法见官方 usage 文档。

Q:默认安装的库够用吗?

A:默认只安装支持基础缓存功能的少量库;当使用额外特性时,相关依赖库会被自动安装。

注意事项

  • 项目仍在快速迭代,API 可能随时变化,请以最新官方文档和 release note 为准。
  • 官方已不再新增对新 API 或模型的支持,鼓励使用 gptcache 的 get 和 set API。
  • export / set 设置的环境变量仅当前会话有效,重启终端后需重新设置。
  • GPTCache 已与 LangChain 完全集成,可参考官方给出的 LangChain 集成用法说明。

核心亮点

  • 语义相似度匹配,能命中改写或同义问题,比传统精确缓存更聪明
  • 与 LangChain、llama_index 深度集成,几行代码即可接入现有应用
  • 支持 Redis、Milvus 等多种后端,可灵活扩展为分布式缓存

不足之处

  • 语义匹配依赖嵌入模型质量,误判可能返回不相关结果
  • 缓存命中率在高度个性化或动态数据场景下可能较低
  • 文档/社区待观察

适用场景

  • 高频客服问答机器人,减少重复问题带来的 API 开销
  • 企业内部知识库查询,加速相似问题的响应速度
  • 多轮对话中常见问题快速回复,提升交互流畅度

替代项目

Redis(配合向量模块)、LanceDB、ChromaDB

项目介绍

GPTCache 是基础设施领域的开源项目,由 zilliztech 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(8,201)位列前 6%,在基础设施分类的 1,130 个项目里位列前 9%。

近 44 天,它的 GitHub 星标从 8,125 增加到 8,201,净增 76。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:高频客服问答机器人,减少重复问题带来的API开销。同类可对比的替代方案包括 Redis(配合向量模块)、LanceDB、ChromaDB。

上一篇:log10

下一篇:LLamaSharp

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09