litellm-rs

用 Rust 实现的高性能 AI 网关，一行代码切换 100+ 大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 18 👀 关注 2
GitHub ↗
GitHub 星标 ★ 123
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署使用。

项目预览

litellm-rs 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队majiayu000
GitHubhttps://github.com/majiayu000/litellm-rs
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型ai-gateway,anthropic,api-client,async-rust,aws-bedrock,embeddings,gemini,llm,load-balancing,multi-provider,ollama,openai,openai-compatible,rust,streaming
GitHub 星标★ 123
上线时间2025-07-15 00:00:00
代码更新2026-11-07
仓库体积27.3 MB
本站数据更新2026-11-08
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

litellm-rs 是一个用 Rust 编写的高性能 AI 网关，旨在统一调用 100 多种 LLM API。它兼容 OpenAI 的 API 格式，让开发者无需修改代码即可切换或同时使用多个大模型提供商。该项目解决了多模型接入时接口不一致、切换成本高的问题，核心能力包括请求路由、负载均衡、错误重试、流式响应支持等。由于采用 Rust 实现，它在性能和资源占用上相比 Python 版本有显著优势，适合对延迟和吞吐量要求较高的生产环境。目前项目处于早期阶段，但已具备基本的网关功能，并积极向成熟的 litellm (Python) 项目看齐。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 123

核心亮点

  • 基于 Rust，性能高，内存占用低，适合高并发场景
  • 兼容 OpenAI API 格式，迁移成本低，上手快
  • 支持 100+ LLM 提供商，集成丰富，扩展性强

不足之处

  • 项目处于早期阶段，功能完整性和稳定性待验证
  • 文档和社区生态相对薄弱，参考资料有限

适用场景

  • 需要统一管理多个大模型 API 的后端服务
  • 对延迟和吞吐量要求高的生产环境，如实时推理
  • 希望从 Python 网关迁移到 Rust 以降低资源成本

替代项目

litellm (Python)、OpenRouter、Kong AI Gateway

上一篇：OmniKey-AI-Unified-Key-Manager

下一篇：litellm-relay

同类项目推荐

eLLM 开源

长程推理跑 CPU，比 GPU 还快，省卡省钱

eLLM: Run Long-Horizon Inference Faster on CPUs Than on GPUs

★ 600 2026-09-16
agentglass 开源

一个屏幕管住所有 AI 编程代理，实时看成本、拦危险操作

Every AI coding agent on your machine, on one screen — live cost, tokens and tool c···

★ 347 2026-08-09
sqlite-ml 开源

在 SQLite 里跑机器学习，用 SQL 直接训练和预测

An SQLite extension for machine learning

★ 56 2026-08-09
pangolin 开源

自托管零信任网关，安全访问内网应用和 AI 服务

Modern networking and security platform providing secure access and connectivity to ···

★ 23345 2026-10-17
awesome-hosting 开源

按最低价排序的托管清单，几分钟挑出最省钱的服务器

List of awesome hosting sorted by minimal plan price

★ 965 2026-09-22
keras-sd-serving 开源

把 Keras 版 Stable Diffusion 快速部署成服务

showing various ways to serve Keras based stable diffusion

★ 112 2026-08-09
vectordb 开源

自建高性能向量库，让 AI 应用秒级检索私有知识。

A high performance Vector Database leveraging parallel graph computing

★ 874 2026-08-09
StringZilla 开源

一行代码，让字符串处理快上百倍，跨语言通用。

Up to 100x faster strings for C, C++, CUDA, Python, Rust, Swift, JS, & Go, leveragin···

★ 3586 2026-08-10
oomstore 开源

用 Go/Rust 打造的高速特征仓库，让特征上线快如闪电

Lightweight and Fast Feature Store Powered by Go (and Rust).

★ 91 2026-08-09