tiygate

给 LLM 服务加个高可用保险，自动切换不宕机

TiyGate 是一个用 Rust 编写的轻量级 LLM 网关，专注于为大型语言模型服务提供高可用性保障。它解决了直接对接多个 LLM 提供商时面临的单点故障、流量分配不均和配置管理复杂等问题。核心能力包括智能路由、健康检查、自动故障转移和负载均衡，能够无缝切换多个上游 LLM 服务，确保服务持续可用。项目采用 Rust 实现，具备高性能和低资源占用的特点，部署简单，适合作为 AI 应用的基础设施层。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 144

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队tiylabs

所属国家

官网地址

GitHubhttps://github.com/tiylabs/tiygate

定价模式free

价格说明开源项目，基于 Apache-2.0 许可证，可自由使用和部署，无收费计划。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Rust

技术栈/模型ai-gateway,ai-proxy,embeddings,gemini,llm-gateway,llm-logs,llm-proxy,llm-recovery,messages,multi-provider,openai-compatible,responses

GitHub 星标★ 144

30天Star增速

HF 下载量

上线时间2026-06-17 00:00:00

最近更新2026-09-24 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

Rust 实现，性能高且内存占用低，适合轻量部署
内置健康检查和自动故障转移，能快速切换不可用上游
配置简洁，上手成本低，适合快速接入现有 LLM 服务

不足之处

项目处于早期阶段，功能丰富度和生态成熟度有限
文档和社区支持尚待完善，高级使用场景需自行探索

适用场景

企业内部多个 LLM 提供商接入，统一管理入口并保障高可用
AI 应用生产环境部署，需要避免单一 LLM 服务故障导致业务中断
边缘或资源受限环境，需要轻量级网关实现 LLM 服务代理和容错

替代项目

LiteLLM、OpenRouter、Kong AI Gateway

项目介绍

tiygate 是基础设施领域的开源项目，由 tiylabs 开发，是 2026 年新上线的项目。

它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 144。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-24。基于 Apache-2.0 许可证，可自由使用和部署，无收费计划。

它主要面向的使用场景是：企业内部多个LLM提供商接入，统一管理入口并保障高可用。同类可对比的替代方案包括 LiteLLM、OpenRouter、Kong AI Gateway。

上一篇：SmarterRouter

下一篇：BYOKEY