项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 62874
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 uv(README 明确说明 Quick Start 依赖 uv)
- 已安装 git(用于 git clone 仓库)
- 已安装 make(README 中的命令均为 make 目标)
- 如需校验镜像签名,需安装 cosign
- 如需部署 GCP 方案,需 gcloud CLI 与可用的 GCP 项目
安装与启动步骤
-
1克隆代码库
从 GitHub 拉取 LiteLLM 仓库并进入项目根目录。
git clone https://github.com/BerriAI/litellm.git cd litellm -
2安装开发依赖
执行 make install-dev 安装开发依赖,README 强调此步需要 uv 已安装。
make install-dev -
3格式化代码
执行 make format 按项目规范格式化代码,改动前建议先提交。
make format -
4运行代码检查
执行 make lint 运行全部 lint 检查,检查未通过需先修复。
make lint -
5运行单元测试
执行 make test-unit 跑单元测试,确认本地开发环境可用。
make test-unit -
6校验镜像签名
用 cosign 与固定 commit 的 cosign.pub 校验 GHCR 镜像签名。
cosign verify \ --key https://raw.githubusercontent.com/BerriAI/litellm/0112e53046018d726492c814b3644b7d376029d0/cosign.pub \ ghcr.io/berriai/litellm:v1.83.0-stable -
7GCP 远程仓库
若在自有 Terraform 配置中调用 GCP 模块,先建以 GHCR 为源的远程仓库。
gcloud artifacts repositories create litellm \ --location=us-central1 \ --repository-format=docker \ --mode=remote-repository \ --remote-docker-repo=https://ghcr.io \ --project=my-gcp-project
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
terraform.tfvars | 否 | GCP 一键部署时由 Cloud Shell 教程根据你的回答自动生成。 | 由 TUTORIAL.md 引导生成 |
如何确认成功
make test-unit 通过说明开发环境就绪;cosign verify 返回验签成功说明镜像可信。
常见问题
Q:没有安装 uv 可以用这个 Quick Start 吗?
A:不可以,README 明确写明该流程需要 uv。README 未给出 uv 的安装命令,请按 uv 官方文档先装好 uv 再执行 make install-dev。
Q:只想快速上线,不想自己编译怎么办?
A:README 提供了 Render、Railway、AWS、GCP 的一键部署按钮,以及发布在 Terraform Registry 的官方模块,可直接按提示部署。
Q:GCP 的 Cloud Run 能直接拉 ghcr.io 镜像吗?
A:不能。README 指出 Cloud Run 无法直接拉取 ghcr.io,需先创建以 https://ghcr.io 为源的 Artifact Registry 远程仓库。
Q:想改文档应该往哪里提 PR?
A:文档已迁到独立仓库 BerriAI/litellm-docs,文档 PR 请提交到该仓库,站点为 docs.litellm.ai。
注意事项
- README 中的 Quick Start 是面向贡献者的开发模式,并非生产环境部署指南。
- 所有发布到 GHCR 的 Docker 镜像都用 cosign 签名,推荐用固定 commit hash 0112e53 校验最可靠。
- 校验命令中的 <release-tag> 需替换为你实际部署的版本,例如 v1.83.0-stable。
- 文档仓库已独立,代码 PR 与文档 PR 需分别提交到不同仓库。
核心亮点
- Rust 核心保证高性能低延迟,Python SDK 降低使用门槛,架构上有性能与易用性兼顾的优势
- 兼容 OpenAI 格式,调用 100+ 家 LLM API 时无需改变既有代码,迁移成本极低
- 内置成本追踪、负载均衡、日志和护栏,直接满足生产环境对可观测性与安全管控的需求
不足之处
- 项目功能模块较多,配置项和概念复杂,上手需要一定学习成本
- 文档完善度与社区支持深度待观察,尤其 Rust 核心部分的二次开发门槛可能较高
适用场景
- 企业内部统一管理多个云厂商 LLM 调用,做集中认证、配额和成本审计
- 需要在高并发场景下对多个模型 API 做负载均衡和故障转移时
- 开发 LLM 应用时希望一套 OpenAI 风格代码无缝切换不同底层模型的场景
替代项目
OpenRouter、kong-ai-gateway
上一篇:keda-gpu-scaler
下一篇:langfuse
同类项目推荐
unstructured-inference
开源
把杂乱文档解析成带类型的结构化文本块
cuvs
开源
GPU 上跑向量检索与聚类,十亿级数据也能秒级返回
cuVS - a library for vector search and clustering on the GPU
hoop
开源
一个网关统一管住 MCP、LLM、数据库和容器的访问策略
Open-source enforcement at runtime that masks sensitive data and blocks destructive ···
optimum-intel
开源
让 Hugging Face 模型在 Intel 芯片上跑得更快,几行代码实现加速。
Optimum Intel: Accelerate inference with Intel optimization tools
tokenmaxxing
开源
同步你的 token 用量,让团队消耗一目了然
A local CLI, built on ccusage, that syncs your token usage with everyone else.
LLM-API-Key-Proxy
开源
一个 API 接入所有大模型,自动切换密钥和负载均衡
Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···
boxlite
开源
给 AI 智能体一个微型安全沙箱,轻量到能装进笔记本,弹性到能撑起云。
The micro-VM for AI agents — light enough to embed on your laptop, elastic enough t···
E2B
开源
让 AI 智能体安全地运行代码、操作文件,直接对接真实世界工具
Open-source, secure environment with real-world tools for enterprise-grade agents.
axonhub
开源
一个网关,用任意 SDK 稳定调用 100+ 大模型,自动容灾省钱
⚡️ Open-source AI Gateway — Use any SDK to call 100+ LLMs. Built-in failover, loa···
