项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 215
核心亮点
- 真正的故障转移机制，基于健康检查而非简单重试，提升服务稳定性
- 单一静态二进制，无运行时依赖，部署和运维成本极低
- 兼容现有 SDK，无需修改代码即可接入多供应商，迁移成本小
不足之处
- 项目处于早期阶段，功能尚不完善，生产环境需谨慎评估
- 文档和社区生态待观察，可参考的实践案例较少
适用场景
- 企业内部统一管理多个 LLM API 密钥和流量，降低供应商锁定风险
- 需要高可用 LLM 服务的应用，自动切换故障供应商，保障业务连续性
- 多环境开发测试，快速切换不同模型供应商进行对比评估
替代项目
LiteLLM、OpenRouter、Portkey
上一篇：openinference
下一篇：byok-relay
同类项目推荐
full-stack-on-prem-cv-mlops
开源
一条命令，从Notebook到百万级CV服务
"1 config, 1 command from Jupyter Notebook to serve Millions of users", Full-stack O···
aibrix
开源
在 K8s 上跑大模型推理，省钱又弹性
Cost-efficient and pluggable Infrastructure components for GenAI inference
flintml
开源
一键搞定 ML 基础设施，让团队专注干正事
One-click ML infrastructure for teams that just want to get sh*t done.
llama-cpp-docker
开源
一条命令在 Docker 里跑起 GPU 加速的本地大模型
Run llama.cpp in a GPU accelerated Docker container
kubeflow-chart
开源
用 Helm 一键部署 Kubeflow，省去复杂配置。
Kubeflow helm chart
awesome-mlops
开源
一张清单，快速摸清 MLOps 工具全家桶，选型不抓瞎
:sunglasses: A curated list of awesome MLOps tools
runtm
开源
给AI编程代理一个安全沙箱，放心让它写代码和部署
Open-source sandboxes where coding agents build and deploy. Spin up isolated environ···
temps
开源
一个 Rust 二进制，搞定部署、监控、分析和 AI 代理集成
AI-native open-source alternative to Vercel + Sentry + PostHog + Pingdom + Resend + ···
sagemaker-python-sdk
开源
几行 Python 把模型训练部署到 AWS 云端
A library for training and deploying machine learning models on Amazon SageMaker