litellm

一个网关接入所有大模型，告别接口乱、成本散、监控难

litellm 是一个轻量级 AI 网关，核心用 Rust 编写，同时提供 Python SDK，可以统一调用 100 多种 LLM API（如 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等），并兼容 OpenAI 格式，让开发者无需修改业务代码就能切换或混用不同模型。它主要解决大模型生态碎片化的问题：不同厂商接口各异、成本核算分散、负载均衡和权限管控难以统一。项目自带成本追踪、护栏（guardrails）、负载均衡、日志记录等生产级功能，适合作为企业内部 LLM 流量的统一入口。用户可以通过 OpenAI 风格接口快速接入，也能直接用原生格式与各云厂商交互。Rust 核心带来了较低延迟和较高吞吐，Python SDK 则降低了集成门槛。项目还关注 MCP 网关能力，使其能衔接模型上下文协议生态，适合在复杂 LLM 基础设施中承担代理、路由、监控和治理角色。