litellm

一个网关接入所有大模型,告别接口乱、成本散、监控难

开源 🏷️基础免费,高级付费 ✅ 目前可打开 基础设施 🍴 复刻 13092 🐛 待处理 5725 👀 关注 237
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 62874
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源版本免费,提供云托管服务,有免费额度,高级功能需付费。

项目预览

litellm 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队BerriAI
定价模式🏷️基础免费,高级付费
价格说明开源版本免费,提供云托管服务,有免费额度,高级功能需付费。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型ai-gateway,anthropic,azure-openai,bedrock,gateway,langchain,litellm,llm,llm-gateway,llmops,mcp-gateway,openai,openai-proxy,rust,rust-ai,vertex-ai
GitHub 星标★ 62874
上线时间2023-07-27 00:00:00
代码更新2026-11-07
仓库体积2.75 GB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数22

项目介绍

litellm 是一个轻量级 AI 网关,核心用 Rust 编写,同时提供 Python SDK,可以统一调用 100 多种 LLM API(如 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等),并兼容 OpenAI 格式,让开发者无需修改业务代码就能切换或混用不同模型。它主要解决大模型生态碎片化的问题:不同厂商接口各异、成本核算分散、负载均衡和权限管控难以统一。项目自带成本追踪、护栏(guardrails)、负载均衡、日志记录等生产级功能,适合作为企业内部 LLM 流量的统一入口。用户可以通过 OpenAI 风格接口快速接入,也能直接用原生格式与各云厂商交互。Rust 核心带来了较低延迟和较高吞吐,Python SDK 则降低了集成门槛。项目还关注 MCP 网关能力,使其能衔接模型上下文协议生态,适合在复杂 LLM 基础设施中承担代理、路由、监控和治理角色。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 62874

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 15 分钟 部署方式:本地安装 7 步

环境要求

  • 已安装 uv(README 明确说明 Quick Start 依赖 uv)
  • 已安装 git(用于 git clone 仓库)
  • 已安装 make(README 中的命令均为 make 目标)
  • 如需校验镜像签名,需安装 cosign
  • 如需部署 GCP 方案,需 gcloud CLI 与可用的 GCP 项目

安装与启动步骤

  1. 1克隆代码库

    从 GitHub 拉取 LiteLLM 仓库并进入项目根目录。

    git clone https://github.com/BerriAI/litellm.git
    cd litellm
  2. 2安装开发依赖

    执行 make install-dev 安装开发依赖,README 强调此步需要 uv 已安装。

    make install-dev
  3. 3格式化代码

    执行 make format 按项目规范格式化代码,改动前建议先提交。

    make format
  4. 4运行代码检查

    执行 make lint 运行全部 lint 检查,检查未通过需先修复。

    make lint
  5. 5运行单元测试

    执行 make test-unit 跑单元测试,确认本地开发环境可用。

    make test-unit
  6. 6校验镜像签名

    用 cosign 与固定 commit 的 cosign.pub 校验 GHCR 镜像签名。

    cosign verify \
      --key https://raw.githubusercontent.com/BerriAI/litellm/0112e53046018d726492c814b3644b7d376029d0/cosign.pub \
      ghcr.io/berriai/litellm:v1.83.0-stable
  7. 7GCP 远程仓库

    若在自有 Terraform 配置中调用 GCP 模块,先建以 GHCR 为源的远程仓库。

    gcloud artifacts repositories create litellm \
      --location=us-central1 \
      --repository-format=docker \
      --mode=remote-repository \
      --remote-docker-repo=https://ghcr.io \
      --project=my-gcp-project

关键配置

配置项必填说明示例
terraform.tfvars否GCP 一键部署时由 Cloud Shell 教程根据你的回答自动生成。由 TUTORIAL.md 引导生成

如何确认成功

make test-unit 通过说明开发环境就绪;cosign verify 返回验签成功说明镜像可信。

常见问题

Q:没有安装 uv 可以用这个 Quick Start 吗?

A:不可以,README 明确写明该流程需要 uv。README 未给出 uv 的安装命令,请按 uv 官方文档先装好 uv 再执行 make install-dev。

Q:只想快速上线,不想自己编译怎么办?

A:README 提供了 Render、Railway、AWS、GCP 的一键部署按钮,以及发布在 Terraform Registry 的官方模块,可直接按提示部署。

Q:GCP 的 Cloud Run 能直接拉 ghcr.io 镜像吗?

A:不能。README 指出 Cloud Run 无法直接拉取 ghcr.io,需先创建以 https://ghcr.io 为源的 Artifact Registry 远程仓库。

Q:想改文档应该往哪里提 PR?

A:文档已迁到独立仓库 BerriAI/litellm-docs,文档 PR 请提交到该仓库,站点为 docs.litellm.ai。

注意事项

  • README 中的 Quick Start 是面向贡献者的开发模式,并非生产环境部署指南。
  • 所有发布到 GHCR 的 Docker 镜像都用 cosign 签名,推荐用固定 commit hash 0112e53 校验最可靠。
  • 校验命令中的 <release-tag> 需替换为你实际部署的版本,例如 v1.83.0-stable。
  • 文档仓库已独立,代码 PR 与文档 PR 需分别提交到不同仓库。

核心亮点

  • Rust 核心保证高性能低延迟,Python SDK 降低使用门槛,架构上有性能与易用性兼顾的优势
  • 兼容 OpenAI 格式,调用 100+ 家 LLM API 时无需改变既有代码,迁移成本极低
  • 内置成本追踪、负载均衡、日志和护栏,直接满足生产环境对可观测性与安全管控的需求

不足之处

  • 项目功能模块较多,配置项和概念复杂,上手需要一定学习成本
  • 文档完善度与社区支持深度待观察,尤其 Rust 核心部分的二次开发门槛可能较高

适用场景

  • 企业内部统一管理多个云厂商 LLM 调用,做集中认证、配额和成本审计
  • 需要在高并发场景下对多个模型 API 做负载均衡和故障转移时
  • 开发 LLM 应用时希望一套 OpenAI 风格代码无缝切换不同底层模型的场景

替代项目

OpenRouter、kong-ai-gateway

上一篇:keda-gpu-scaler

下一篇:langfuse

同类项目推荐

cuvs 开源

GPU 上跑向量检索与聚类,十亿级数据也能秒级返回

cuVS - a library for vector search and clustering on the GPU

★ 890 2026-09-16
hoop 开源

一个网关统一管住 MCP、LLM、数据库和容器的访问策略

Open-source enforcement at runtime that masks sensitive data and blocks destructive ···

★ 844 2026-09-16
optimum-intel 开源

让 Hugging Face 模型在 Intel 芯片上跑得更快,几行代码实现加速。

Optimum Intel: Accelerate inference with Intel optimization tools

★ 625 2026-08-09
tokenmaxxing 开源

同步你的 token 用量,让团队消耗一目了然

A local CLI, built on ccusage, that syncs your token usage with everyone else.

★ 88 2026-08-09
LLM-API-Key-Proxy 开源

一个 API 接入所有大模型,自动切换密钥和负载均衡

Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···

★ 559 2026-08-09
boxlite 开源

给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。

The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···

★ 2634 2026-08-09
E2B 开源

让 AI 智能体安全地运行代码、操作文件,直接对接真实世界工具

Open-source, secure environment with real-world tools for enterprise-grade agents.

★ 14762 2026-08-09
axonhub 开源

一个网关,用任意 SDK 稳定调用 100+ 大模型,自动容灾省钱

⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, loa···

★ 5437 2026-08-09