ai-gateway 是基础设施领域的开源项目，由 Noveum 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 97。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-13。Apache-2.0 许可证，可自由使用和部署，无付费版本。
它主要面向的使用场景是：需要低延迟调用多家AI模型的企业级应用。同类可对比的替代方案包括 Kong AI Gateway、Portkey AI Gateway、LiteLLM。
GitHub 星标
★ 97
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队Noveum
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，可自由使用和部署，无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型ai,ai-gateway,api,gateway
GitHub 星标★ 97
30天Star增速
HF 下载量
上线时间2024-11-07 00:00:00
最近更新2026-09-13 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6
使用教程
核心亮点
- Rust 实现，内存安全且性能极高，延迟极低
- 提供商无关设计，轻松切换或混合使用多家 AI 服务
- 内置智能路由和负载均衡，提升整体可用性
不足之处
- 项目处于早期，文档和社区生态尚不完善
- 功能覆盖可能不如成熟网关全面，需自行扩展
适用场景
- 需要低延迟调用多家 AI 模型的企业级应用
- 统一管理多个云厂商 AI 服务的中间层
- 对性能和稳定性要求高的实时 AI 推理场景
替代项目
Kong AI Gateway、Portkey AI Gateway、LiteLLM
项目介绍
上一篇：litellm-relay
下一篇：new-api-docs-v1
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···