GPTCache

给 LLM 加个语义缓存,重复问题秒回,省钱又提速

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 605 🐛 待处理 101 👀 关注 60
GitHub ↗
GitHub 星标 ★ 8221
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

GPTCache 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队zilliztech
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型aigc,autogpt,babyagi,chatbot,chatgpt,chatgpt-api,dolly,gpt,langchain,llama,llama-index,llm,memcache,milvus,openai,redis,semantic-search,similarity-search,vector-search
GitHub 星标★ 8221
上线时间2023-03-24 00:00:00
代码更新2026-09-22
仓库体积23.8 MB
本站数据更新2026-11-08
维护状态维护中
收录时间2026-08-09
浏览次数7

项目介绍

GPTCache 是一个面向大语言模型(LLM)的语义缓存工具,核心解决 LLM 推理成本高、响应慢的问题。它通过缓存相似的查询结果,让重复或相近的请求直接命中缓存,无需再次调用昂贵的模型 API。项目深度集成 LangChain 和 llama_index,支持 OpenAI 等多种模型后端,并兼容 Redis、Milvus 等主流存储和向量数据库。其核心能力包括:基于嵌入向量的语义相似度匹配、可定制的缓存策略(如相似度阈值、过期时间)、以及分布式部署支持。开发者可以轻松将其嵌入现有 LLM 应用,显著降低 API 费用并提升用户体验,尤其适合高频交互场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 8221

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 7 步

环境要求

  • Python 3.8.1 或更高版本
  • 已安装 pip(版本过低需先升级)
  • 示例运行需要 OPENAI_API_KEY 环境变量
  • 可访问 PyPI 安装 gptcache 包

安装与启动步骤

  1. 1检查 Python 版本

    GPTCache 要求 Python 3.8.1 以上,先确认本机版本是否满足,不满足需先升级 Python。

    python --version
  2. 2升级 pip

    如果安装库时因 pip 版本过低报错,先升级 pip 再继续后续安装。

    python -m pip install --upgrade pip
  3. 3安装 GPTCache

    官方推荐的快速安装方式,一条命令即可装好基础缓存功能,额外特性所需库会自动安装。

    pip install gptcache
  4. 4设置 API Key

    运行官方示例前必须设置 OPENAI_API_KEY。Unix/Linux/MacOS 用 export,仅当前会话有效。

    export OPENAI_API_KEY=sk-xxxxxxxx
  5. 5Windows 设置密钥

    Windows 系统改用 set 命令设置同一环境变量,写法与 Unix 不同。

    set OPENAI_API_KEY=YOUR_API_KEY
  6. 6确认密钥已生效

    通过 echo 打印环境变量,确认输出的是刚设置的密钥,再运行示例代码。

    echo $OPENAI_API_KEY
  7. 7源码开发安装(可选)

    需要基于源码开发时,克隆仓库后安装依赖并执行 setup.py 安装到本地环境。

    pip install -r requirements.txt
    python setup.py install

关键配置

配置项必填说明示例
OPENAI_API_KEY是调用 OpenAI 接口所需的密钥,示例运行前必须设置sk-xxxxxxxx

如何确认成功

pip install 无报错即安装成功;执行 echo $OPENAI_API_KEY 能打印出密钥值,说明环境已就绪。

常见问题

Q:提示 Python 版本不支持怎么办?

A:GPTCache 要求 Python 3.8.1 或更高版本,先用 python --version 查看当前版本,低于该版本请先升级 Python 再安装。

Q:安装依赖库时报错如何解决?

A:多为 pip 版本过低导致,先运行 python -m pip install --upgrade pip 升级 pip,然后重新执行安装命令。

Q:设置了 OPENAI_API_KEY 但重启后失效?

A:export 或 set 只对当前会话临时生效。需要永久生效请修改环境变量配置文件,例如 Mac 上的 /etc/profile。

Q:想用非 Python 语言调用 GPTCache?

A:官方已发布 GPTCache server 的 Docker 镜像,任何语言都可以通过该服务端使用 GPTCache,具体用法见官方 usage 文档。

Q:默认安装的库够用吗?

A:默认只安装支持基础缓存功能的少量库;当使用额外特性时,相关依赖库会被自动安装。

注意事项

  • 项目仍在快速迭代,API 可能随时变化,请以最新官方文档和 release note 为准。
  • 官方已不再新增对新 API 或模型的支持,鼓励使用 gptcache 的 get 和 set API。
  • export / set 设置的环境变量仅当前会话有效,重启终端后需重新设置。
  • GPTCache 已与 LangChain 完全集成,可参考官方给出的 LangChain 集成用法说明。

核心亮点

  • 语义相似度匹配,能命中改写或同义问题,比传统精确缓存更聪明
  • 与 LangChain、llama_index 深度集成,几行代码即可接入现有应用
  • 支持 Redis、Milvus 等多种后端,可灵活扩展为分布式缓存

不足之处

  • 语义匹配依赖嵌入模型质量,误判可能返回不相关结果
  • 缓存命中率在高度个性化或动态数据场景下可能较低
  • 文档/社区待观察

适用场景

  • 高频客服问答机器人,减少重复问题带来的 API 开销
  • 企业内部知识库查询,加速相似问题的响应速度
  • 多轮对话中常见问题快速回复,提升交互流畅度

替代项目

Redis(配合向量模块)、LanceDB、ChromaDB

上一篇:log10

下一篇:LLamaSharp

同类项目推荐

ai 开源

用 Stripe 打通 AI 产品从开发到收费的全流程,快速上线赚钱。

One-stop shop for building AI-powered products and businesses with Stripe.

★ 2049 2026-08-09
Bailo 开源

一站式管理 ML 模型全生命周期,让模型资产安全共享、合规可溯。

Managing the lifecycle of machine learning to support scalability, impact, collabora···

★ 96 2026-08-09
unstructured 开源

把 PDF/Word 等复杂文档,一键变成 LLM 能用的干净数据

Convert documents to structured data effortlessly. Unstructured is open-source ETL s···

★ 15697 2026-08-09
CatGPT-Gateway 开源

把网页版 ChatGPT/Claude 变成免费 API,免密钥直接调用

Turn your ChatGPT or Claude account into a fully working OpenAI-compatible API. No A···

★ 316 2026-08-09
terraform-aws-metaflow 开源

用 Terraform 在 AWS 上快速搭建生产级 Metaflow 环境

Deploy production-grade Metaflow cloud infrastructure on AWS

★ 70 2026-08-09
JetStream 开源

在 TPU 上榨干每一分性能,让 LLM 推理更快更省内存

JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···

★ 473 2026-08-09
omegaml 开源

一站式搞定模型从训练到上线,省心省力

MLOps simplified. One-stop AI delivery platform, all the features you need.

★ 109 2026-08-09
temps 开源

一个 Rust 二进制,搞定部署、监控、分析和 AI 代理集成

AI-native open-source alternative to Vercel + Sentry + PostHog + Pingdom + Resend + ···

★ 903 2026-08-09
M365-Copilot2API 开源

把 M365 Copilot 变成 OpenAI 接口,客户端零改动直接调

Microsoft 365 Copilot → OpenAI / Anthropic 兼容 API 网关。

★ 621 2026-10-23