CAG

Q: 数据集可选哪些？

--dataset 支持 ＂hotpotqa-train＂ 或 ＂squad-train＂；--similarity 给出的是 ＂bertscore＂。

扔掉检索器，用缓存让大模型回答更快更简单

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署搜索知识 🍴 复刻 226 🐛 待处理 8 👀 关注 26

GitHub ↗

GitHub 星标 ★ 1614

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类搜索知识

开发团队hhhuang

GitHubhttps://github.com/hhhuang/CAG

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型cag,llm,rag

GitHub 星标★ 1614

上线时间2024-12-11 00:00:00

代码更新2025-05-26

仓库体积3.2 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数2

项目介绍

CAG（Cache-Augmented Generation）是一个旨在替代RAG（检索增强生成）的轻量级开源项目。它通过预先缓存知识库内容，在推理时直接利用缓存而非实时检索，从而简化了生成流程。该项目解决了RAG中检索延迟高、系统复杂度大、依赖外部向量数据库等问题。核心能力包括：将文档预加载到上下文缓存中、支持多种大语言模型后端、提供简单的API接口。其设计哲学是“少即是多”，在知识库规模适中、更新不频繁的场景下，能显著提升响应速度并降低运维成本。项目当前处于成长阶段，代码结构清晰，适合希望摆脱检索基础设施的开发者快速集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1614

技术标签

llm rag

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 15 分钟部署方式：命令行工具 8 步

环境要求

Python 环境（README 未指定具体版本，需能运行 pip）
已安装 requirements.txt 中的依赖
Hugging Face 访问令牌 HF_TOKEN（写入 .env 文件）
可选：Docker；GPU 用户需支持 --gpus all 的运行时

安装与启动步骤

1获取项目代码

从 GitHub 克隆仓库并进入项目目录，后续所有命令都在该目录下执行。
```
git clone https://github.com/hhhuang/CAG.git
cd CAG
```
2安装依赖

按 README 的 Installation 一节安装 requirements.txt 中列出的全部依赖。
```
pip install -r ./requirements.txt
```
3配置 .env

在项目根目录创建 .env，至少写入 HF_TOKEN，否则运行脚本时会抛出 Missing required environment variable 错误。
```
echo "HF_TOKEN=hf_xxxxxxxxxxxxxxxxxxxx" > .env
```

4运行 CAG 实验

kvcache.py 用于 CAG 实验；参数取自 README，--usePrompt 仅在不用缓存加速时添加。

python ./kvcache.py --kvcache "file" --dataset "hotpotqa-train" --similarity "bertscore" --modelname "meta-llama/Llama-3.1-8B-Instruct" --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --randomSeed 0 --output "./kvcache_results.txt"

5运行 RAG 对比

rag.py 用于 RAG 实验，命令为 README 给出的完整示例，可换 --index 为 openai。

python ./rag.py --index "bm25" --dataset "hotpotqa-train" --similarity bertscore --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --topk 3 --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 --output "./rag_results.txt"

6构建 Docker 镜像

可选方式。构建前务必先填好 .env，否则容器启动时会因缺少 HF_TOKEN 报错。
```
docker build -t my-cag-app .
```
7运行容器

GPU 用户加 --gpus all，CPU 用户直接运行；镜像默认执行 kvcache.py。
```
docker run --gpus all -it --rm my-cag-app
```

8容器内跑 rag.py

覆盖 Dockerfile 默认 CMD，在容器里执行 RAG 实验脚本。

docker run --gpus all -it --rm my-cag-app python ./rag.py --index "bm25" --dataset "hotpotqa-train" --similarity bertscore --maxKnowledge 80 --maxParagraph 100 --maxQuestion 80 --topk 3 --modelname "meta-llama/Llama-3.1-8B-Instruct" --randomSeed 0 --output "./rag_results.txt"