litellm-pgvector

把 LiteLLM 日志变成可搜索的向量库,快速挖掘调用模式

litellm-pgvector 是一个将 LiteLLM 的请求日志与向量数据库 pgvector 集成的开源项目。它解决了 LiteLLM 默认日志存储无法支持语义检索和向量化分析的问题,使得开发者能够基于请求内容(如提示词、响应)进行相似性搜索、异常检测和成本分析。核心能力包括:自动将 LiteLLM 的调用日志写入 PostgreSQL 的 pgvector 扩展,支持向量化嵌入(通过 OpenAI 或本地模型),提供简单的 Python API 用于查询和检索历史请求,并可与现有 LiteLLM 部署无缝对接。项目处于早期阶段,代码简洁,适合需要深度分析 LLM 调用行为的团队。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 86
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队BerriAI
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,可免费使用和部署。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai-gateway,litellm,litellm-ai-gateway,openai-vector-store,vector-store,vector-store-gateway
GitHub 星标★ 86
30天Star增速
HF 下载量
上线时间2025-07-16 00:00:00
最近更新2026-09-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 直接复用 pgvector,无需额外向量数据库,降低运维成本
  • 自动嵌入日志内容,支持语义检索,方便调试和审计
  • 与 LiteLLM 集成简单,几行代码即可启用

不足之处

  • 文档/社区待观察
  • 依赖外部嵌入模型,可能增加额外 API 成本
  • 仅支持 PostgreSQL,限制了数据库选择

适用场景

  • 对 LLM 调用日志进行语义搜索,快速定位相似问题
  • 分析用户提示词趋势,优化提示模板
  • 构建基于历史调用的异常检测或成本分析工具

替代项目

Langfuse、Helicone、Wandb Weave

项目介绍

litellm-pgvector 是基础设施领域的开源项目,由 BerriAI 开发,2025 年首次发布。

它收录于基础设施分类,该分类目前共有 1,130 个项目,GitHub 星标数为 86。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-18。MIT许可证,可免费使用和部署。

它主要面向的使用场景是:对LLM调用日志进行语义搜索,快速定位相似问题。同类可对比的替代方案包括 Langfuse、Helicone、Wandb Weave。

上一篇:AI-Worker-Proxy

下一篇:Routerly

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09