litellm-rs

用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型

litellm-rs 是一个用 Rust 编写的高性能 AI 网关，旨在统一调用 100 多种 LLM API。它兼容 OpenAI 的 API 格式，让开发者无需修改代码即可切换或同时使用多个大模型提供商。该项目解决了多模型接入时接口不一致、切换成本高的问题，核心能力包括请求路由、负载均衡、错误重试、流式响应支持等。由于采用 Rust 实现，它在性能和资源占用上相比 Python 版本有显著优势，适合对延迟和吞吐量要求较高的生产环境。目前项目处于早期阶段，但已具备基本的网关功能，并积极向成熟的 litellm (Python) 项目看齐。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 113

维护状态活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队majiayu000

所属国家

官网地址

GitHubhttps://github.com/majiayu000/litellm-rs

定价模式free

价格说明开源项目，MIT许可证，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型ai-gateway,anthropic,api-client,async-rust,aws-bedrock,embeddings,gemini,llm,load-balancing,multi-provider,ollama,openai,rust,streaming

GitHub 星标★ 113

30天Star增速

HF 下载量

上线时间2025-07-15 00:00:00

最近更新2026-09-16 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

基于 Rust，性能高，内存占用低，适合高并发场景
兼容 OpenAI API 格式，迁移成本低，上手快
支持 100+ LLM 提供商，集成丰富，扩展性强

不足之处

项目处于早期阶段，功能完整性和稳定性待验证
文档和社区生态相对薄弱，参考资料有限

适用场景

需要统一管理多个大模型 API 的后端服务
对延迟和吞吐量要求高的生产环境，如实时推理
希望从 Python 网关迁移到 Rust 以降低资源成本

替代项目

litellm (Python)、OpenRouter、Kong AI Gateway

项目介绍

litellm-rs 是基础设施领域的开源项目，由 majiayu000 开发，2025 年首次发布。

它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 113。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-16。MIT许可证，完全免费，需自行部署使用。

它主要面向的使用场景是：需要统一管理多个大模型API的后端服务。同类可对比的替代方案包括 litellm (Python)、OpenRouter、Kong AI Gateway。

上一篇：OmniKey-AI-Unified-Key-Manager

下一篇：litellm-relay