litellm-relay

一步接入所有 AI 工具,统一走你的 LiteLLM 网关

litellm-relay 是一个用 Rust 编写的轻量级代理工具,旨在将各类 AI 工具快速接入 LiteLLM 网关。它解决了企业内部 AI 工具分散、难以统一管理和审计的问题,通过零开发配置即可让 Claude Desktop、Claude Code、Codex 等主流工具自动路由到你的 LiteLLM 网关,同时还能捕获并转发影子 AI(如 Notion AI、Perplexity 等)的流量,实现统一的密钥管理、成本控制和合规审计。其核心能力包括自动发现并代理 AI 工具流量、无需修改客户端配置、支持多种协议(如 Anthropic、OpenAI 兼容接口),并基于 Rust 提供高性能和低资源占用。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 110
维护状态 维护中
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队LiteLLM-Labs
所属国家
官网地址
定价模式free
价格说明开源项目,本地部署,无在线服务,全部功能免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Rust
技术栈/模型ai-gateway,ai-governance,ai-monitoring,ai-proxy,shadow-ai,shadowai
GitHub 星标★ 110
30天Star增速
HF 下载量
上线时间2026-07-09 00:00:00
最近更新2026-09-10 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 零配置接入:自动发现并代理 Claude Desktop、Codex 等工具,无需手动改配置
  • 影子 AI 管控:能捕获 Notion AI、Perplexity 等未授权工具流量,便于审计
  • Rust 实现:性能好、部署简单,适合作为轻量级基础设施

不足之处

  • 项目早期(99 星),稳定性待验证
  • 文档/社区待观察

适用场景

  • 企业内部统一管理 AI 工具调用,实现成本与合规管控
  • 开发团队快速将 Claude Code、Codex 接入现有 LiteLLM 网关
  • 安全团队监控和拦截未经授权的 AI 工具使用

替代项目

LiteLLM Proxy、OpenAI Gateway、Kong AI Gateway

项目介绍

litellm-relay 是基础设施领域的开源项目,由 LiteLLM-Labs 开发,是 2026 年新上线的项目。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 110。

项目仍在小幅维护中,最近一次代码更新于 2026-09-10。本地部署,无在线服务,全部功能免费。

它主要面向的使用场景是:企业内部统一管理AI工具调用,实现成本与合规管控。同类可对比的替代方案包括 LiteLLM Proxy、OpenAI Gateway、Kong AI Gateway。

上一篇:litellm-rs

下一篇:ai-gateway

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···

★ 303 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09