项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 148
核心亮点
- Rust 实现，性能高且内存占用低，适合轻量部署
- 内置健康检查和自动故障转移，能快速切换不可用上游
- 配置简洁，上手成本低，适合快速接入现有 LLM 服务
不足之处
- 项目处于早期阶段，功能丰富度和生态成熟度有限
- 文档和社区支持尚待完善，高级使用场景需自行探索
适用场景
- 企业内部多个 LLM 提供商接入，统一管理入口并保障高可用
- AI 应用生产环境部署，需要避免单一 LLM 服务故障导致业务中断
- 边缘或资源受限环境，需要轻量级网关实现 LLM 服务代理和容错
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
上一篇：SmarterRouter
下一篇：BYOKEY
同类项目推荐
binary-mlc-llm-libs
开源
免编译下载即用，本地跑大模型省去环境折腾
vmlx
开源
Mac 上跑 MLX 模型，一个格式搞定加载与量化
vMLX - Use MLX models easily - JANGQ (GGUF for MLX) - Not dependant on mlx_vlm
bifrost
开源
高并发场景下，用 Bifrost 统一管理千款模型，延迟微秒级，成本一目了然。
Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway···
agentwatch
开源
给 AI 智能体装上监控摄像头，一眼看透每次交互
A powerful AI observability framework that provides comprehensive insights into agen···
RSD
开源
用奖励模型引导投机解码，又快又好地生成文本。
[ICML 2025] Reward-guided Speculative Decoding (RSD) for efficiency and effectivenes···
grps_trtllm
开源
用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快
Higher performance OpenAI LLM service than vLLM serve: A pure C++ high-performance O···
mcp-pinecone
开源
让AI直接读写Pinecone向量库，实现简易RAG
Model Context Protocol server to allow for reading and writing from Pinecone. Rudime···
Cypher.js
开源
在 JS 里直接跑 Cypher 图查询，轻量免部署
Cypher graph database for Javascript
open-relay
开源
关掉终端，AI 任务继续跑，随时回来接管。
oly runs coding agents and long-running commands in persistent, supervised terminal ···