项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 99
技术标签
核心亮点
- Rust 实现，内存安全且性能极高，延迟极低
- 提供商无关设计，轻松切换或混合使用多家 AI 服务
- 内置智能路由和负载均衡，提升整体可用性
不足之处
- 项目处于早期，文档和社区生态尚不完善
- 功能覆盖可能不如成熟网关全面，需自行扩展
适用场景
- 需要低延迟调用多家 AI 模型的企业级应用
- 统一管理多个云厂商 AI 服务的中间层
- 对性能和稳定性要求高的实时 AI 推理场景
替代项目
Kong AI Gateway、Portkey AI Gateway、LiteLLM
上一篇：litellm-relay
下一篇：new-api-docs-v1
同类项目推荐
genai-fullstack-blueprint
开源
一套TypeScript全栈骨架，快速搭建多模态AI应用前后端。
Full-stack reference architecture for multimodal GenAI apps: Angular client plus Nod···
metaflow
开源
Netflix 同款流水线玩法，从实验到上线一路顺畅
Build, Manage and Deploy AI/ML Systems
inference-gateway
开源
一个网关统一接入本地与云端大模型
An open-source, cloud-native, high-performance gateway unifying multiple LLM provide···
Ollama-For-AMD-Installer
开源
AMD 显卡一条命令装好 Ollama，直接跑本地大模型
This project simplifies the installation process of likelovewant's library, making i···
llms
开源
配好密钥就能跑的 LLM 聊天前后端一体工具
LLM Client, Server API and UI
llm-ollama
开源
一条命令把本地 Ollama 模型接入 LLM 工具链
LLM plugin providing access to models running on an Ollama server
one-api-pro
开源
统一管理多模型，精准控成本，高可用部署一步到位
oneapi-pro is an enterprise-grade AI API Gateway built on oneapi（one-api）. It has ···
keras-sd-serving
开源
把 Keras 版 Stable Diffusion 快速部署成服务
showing various ways to serve Keras based stable diffusion
vllm-ultimate-dgx-spark
开源
DGX Spark 新硬件开箱即跑 vLLM 推理镜像
AEON vLLM Ultimate — vLLM 0.27.1 built from source for DGX Spark / Blackwell (sm_12···