ai-gateway 是基础设施领域的开源项目，由 ferro-labs 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,133 个项目，GitHub 星标数为 265。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。
它主要面向的使用场景是：企业内部统一管理多个LLMAPI密钥和调用策略。同类可对比的替代方案包括 LiteLLM、Kong AI Gateway、Portkey。
ai-gateway
一个网关接入30+大模型，自带缓存、护栏和成本控制
ai-gateway 是一个用 Go 编写的统一 AI 网关，旨在为 30 多种大语言模型（如 OpenAI、Anthropic、Bedrock、Azure 等）提供单一接入点。它解决了企业在使用多个 LLM 时面临的接口碎片化、成本不可控、安全合规难等问题。核心能力包括：统一的 OpenAI 兼容 API，支持快速切换不同模型；内置缓存机制降低延迟和成本；提供 Guardrails 功能，对输入输出进行安全过滤；支持 A/B 测试，方便模型效果对比；以及细粒度的成本控制与配额管理。作为 Go 原生实现，它强调高性能和可扩展性，是 LiteLLM 和 Kong AI Gateway 的轻量级替代方案。项目目前处于早期阶段，但架构清晰，适合对性能和部署简洁性有要求的中小型团队。
开源
unknown
基础设施
GitHub 星标
★ 265
维护状态
活跃
是否开源
是
定价模式
unknown
项目数据
分类基础设施
开发团队ferro-labs
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai-gateway,ai-infrastructure,guardrails,litellm,llm,llm-cost,llm-gateway,llm-proxy,llm-strategy,llmops,mcp,openai-compatible,pii-detection,prompt-management,semantic-cache,token-saver
GitHub 星标★ 265
30天Star增速
HF 下载量
上线时间2026-02-25 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数7
使用教程
核心亮点
- Go 原生实现，性能优于 Python 类网关，资源占用低
- 内置缓存、Guardrails、A/B 测试和成本控制，开箱即用
- 兼容 OpenAI API 格式，迁移成本低，支持 30+ 主流模型
不足之处
- 项目处于早期阶段，GitHub 星标仅 221，社区生态和文档成熟度待观察
- 与 LiteLLM 等成熟项目相比，插件扩展和第三方集成可能较少
适用场景
- 企业内部统一管理多个 LLM API 密钥和调用策略
- 需要降低 LLM 调用成本，通过缓存和模型路由优化支出
- 对 AI 应用输出进行安全过滤和合规审查的场景
替代项目
LiteLLM、Kong AI Gateway、Portkey
项目介绍
上一篇：picollm
下一篇：homelab-monitor
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
[DEPRECATED / UNMAINTAINED] Multi-account gateway. No longer maintained; fork it and···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···