semantic-cache
让缓存懂语义，相似查询秒命中，降低后端压力
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 304
核心亮点
- 基于向量相似度匹配，能命中语义相近但字面不同的查询，显著提升缓存命中率
- 支持自定义嵌入模型，可灵活接入 OpenAI、本地模型等，适配不同隐私和成本需求
- API 设计极简（get/set），TypeScript 类型友好，集成成本低
不足之处
- 依赖外部嵌入服务或模型，引入额外延迟和成本，且需自行管理向量存储
- 相似度阈值需手动调优，过松会误命中，过紧则失去模糊匹配优势
- 文档/社区待观察
适用场景
- RAG 系统中缓存用户重复或相似的问题，减少 LLM 调用次数
- 对话机器人中复用相似意图的响应，提升响应速度
- 搜索建议或推荐场景中，快速匹配用户近似查询并返回预计算结果
替代项目
Redis with vector similarity (RediSearch)、Qdrant、Chroma
同类项目推荐
anolisa
开源
用 Rust 打造 AI 代理的底层操作系统，让多代理协同更稳更安全。
ANOLISA (Agentic Nexus Operating Layer & Interface System Architecture) | Agentic OS···
xDiT
开源
多卡并行加速 DiT 出图，单卡跑不动的高分辨率也能秒级生成
xDiT: A Scalable Inference Engine for Diffusion Transformers (DiTs) with Massive Par···
weightslab
开源
让 AI 工程师轻松搞定图像、视频、点云等杂乱数据
Monitoring platform for ML teams building real‑world AI at scale.
guidance-for-multi-provider-gene···
开源
一套 OpenAI 风格接口，统一调用 AWS 上多家大模型
This Guidance demonstrates how to streamline access to numerous large language model···
spark-local-inference
开源
Rust 写的本地大模型推理服务底座，请求调度一把抓
qvac
开源
本地跑AI，跨平台私有部署，数据不出设备
Open-source local AI SDK - run AI on-device with no cloud, no API keys. Supports GGU···
hpc-ops
开源
C++ 高性能 LLM 推理算子库，加速推理降延迟
High Performance LLM Inference Operator Library
Reach
开源
一个开源应用搞定 SSH、SFTP、隧道和自动化运维
A modern, cross-platform SSH client and remote server management tool. Tabbed termin···
tart
开源
在 Apple Silicon 上秒级拉起 macOS/Linux 虚拟机跑 CI
macOS and Linux VMs on Apple Silicon to use in CI and other automations