litellm

一个网关接入所有大模型，告别接口乱、成本散、监控难

litellm 是一个轻量级 AI 网关，核心用 Rust 编写，同时提供 Python SDK，可以统一调用 100 多种 LLM API（如 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等），并兼容 OpenAI 格式，让开发者无需修改业务代码就能切换或混用不同模型。它主要解决大模型生态碎片化的问题：不同厂商接口各异、成本核算分散、负载均衡和权限管控难以统一。项目自带成本追踪、护栏（guardrails）、负载均衡、日志记录等生产级功能，适合作为企业内部 LLM 流量的统一入口。用户可以通过 OpenAI 风格接口快速接入，也能直接用原生格式与各云厂商交互。Rust 核心带来了较低延迟和较高吞吐，Python SDK 则降低了集成门槛。项目还关注 MCP 网关能力，使其能衔接模型上下文协议生态，适合在复杂 LLM 基础设施中承担代理、路由、监控和治理角色。

开源 freemium 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 59416

维护状态活跃

是否开源是

定价模式 freemium

项目数据

分类基础设施

开发团队BerriAI

所属国家

官网地址https://docs.litellm.ai/docs

GitHubhttps://github.com/BerriAI/litellm

定价模式freemium

价格说明开源版本免费，提供云托管服务，有免费额度，高级功能需付费。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型ai-gateway,anthropic,azure-openai,bedrock,gateway,langchain,litellm,llm,llm-gateway,llmops,mcp-gateway,openai,openai-proxy,rust,rust-ai,vertex-ai

GitHub 星标★ 59416

30天Star增速

HF 下载量

上线时间2023-07-27 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数19

使用教程

难度：入门约 15 分钟部署方式：本地安装 7 步

环境要求

已安装 uv（README 明确说明 Quick Start 依赖 uv）
已安装 git（用于 git clone 仓库）
已安装 make（README 中的命令均为 make 目标）
如需校验镜像签名，需安装 cosign
如需部署 GCP 方案，需 gcloud CLI 与可用的 GCP 项目

安装与启动步骤

1克隆代码库

从 GitHub 拉取 LiteLLM 仓库并进入项目根目录。
```
git clone https://github.com/BerriAI/litellm.git
cd litellm
```
2安装开发依赖

执行 make install-dev 安装开发依赖，README 强调此步需要 uv 已安装。
```
make install-dev
```
3格式化代码

执行 make format 按项目规范格式化代码，改动前建议先提交。
```
make format
```
4运行代码检查

执行 make lint 运行全部 lint 检查，检查未通过需先修复。
```
make lint
```
5运行单元测试

执行 make test-unit 跑单元测试，确认本地开发环境可用。
```
make test-unit
```

6校验镜像签名

用 cosign 与固定 commit 的 cosign.pub 校验 GHCR 镜像签名。

cosign verify 
  --key https://raw.githubusercontent.com/BerriAI/litellm/0112e53046018d726492c814b3644b7d376029d0/cosign.pub 
  ghcr.io/berriai/litellm:v1.83.0-stable

7GCP 远程仓库

若在自有 Terraform 配置中调用 GCP 模块，先建以 GHCR 为源的远程仓库。

gcloud artifacts repositories create litellm 
  --location=us-central1 
  --repository-format=docker 
  --mode=remote-repository 
  --remote-docker-repo=https://ghcr.io 
  --project=my-gcp-project

关键配置

配置项	必填	说明	示例
`terraform.tfvars`	否	GCP 一键部署时由 Cloud Shell 教程根据你的回答自动生成。	`由 TUTORIAL.md 引导生成`

如何确认成功

make test-unit 通过说明开发环境就绪；cosign verify 返回验签成功说明镜像可信。

常见问题

Q：没有安装 uv 可以用这个 Quick Start 吗？

A：不可以，README 明确写明该流程需要 uv。README 未给出 uv 的安装命令，请按 uv 官方文档先装好 uv 再执行 make install-dev。

Q：只想快速上线，不想自己编译怎么办？

A：README 提供了 Render、Railway、AWS、GCP 的一键部署按钮，以及发布在 Terraform Registry 的官方模块，可直接按提示部署。

Q：GCP 的 Cloud Run 能直接拉 ghcr.io 镜像吗？

A：不能。README 指出 Cloud Run 无法直接拉取 ghcr.io，需先创建以 https://ghcr.io 为源的 Artifact Registry 远程仓库。

Q：想改文档应该往哪里提 PR？

A：文档已迁到独立仓库 BerriAI/litellm-docs，文档 PR 请提交到该仓库，站点为 docs.litellm.ai。

注意事项

README 中的 Quick Start 是面向贡献者的开发模式，并非生产环境部署指南。
所有发布到 GHCR 的 Docker 镜像都用 cosign 签名，推荐用固定 commit hash 0112e53 校验最可靠。
校验命令中的需替换为你实际部署的版本，例如 v1.83.0-stable。
文档仓库已独立，代码 PR 与文档 PR 需分别提交到不同仓库。

核心亮点

Rust 核心保证高性能低延迟，Python SDK 降低使用门槛，架构上有性能与易用性兼顾的优势
兼容 OpenAI 格式，调用 100+ 家 LLM API 时无需改变既有代码，迁移成本极低
内置成本追踪、负载均衡、日志和护栏，直接满足生产环境对可观测性与安全管控的需求

不足之处

项目功能模块较多，配置项和概念复杂，上手需要一定学习成本
文档完善度与社区支持深度待观察，尤其 Rust 核心部分的二次开发门槛可能较高

适用场景

企业内部统一管理多个云厂商 LLM 调用，做集中认证、配额和成本审计
需要在高并发场景下对多个模型 API 做负载均衡和故障转移时
开发 LLM 应用时希望一套 OpenAI 风格代码无缝切换不同底层模型的场景

替代项目

OpenRouter、kong-ai-gateway

项目介绍

litellm 是基础设施领域的开源项目，由 BerriAI 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（59,416）位列前 1%，在基础设施分类的 1,130 个项目里位列前 1%。

近 44 天，它的 GitHub 星标从 55,954 增加到 59,416，净增 3,462。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源版本免费，提供云托管服务，有免费额度，高级功能需付费。从国内网络环境看，可直接访问。

它主要面向的使用场景是：企业内部统一管理多个云厂商LLM调用，做集中认证、配额和成本审计。同类可对比的替代方案包括 OpenRouter、kong-ai-gateway。

上一篇：keda-gpu-scaler

下一篇：langfuse