项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 233
核心亮点
- 基于 Rust，内存安全且性能极高，适合高吞吐场景
- 内置 OpenTelemetry 可观测性，开箱即用，便于监控和排障
- 统一网关抽象，简化多模型接入和切换
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 功能相对基础，可能缺少高级路由策略和细粒度配额管理
适用场景
- 企业内部统一管理多个 LLM API 的访问入口
- 需要高并发、低延迟的 AI 服务网关场景
- 对可观测性有强要求的生产环境部署
替代项目
LiteLLM、Portkey Gateway、Kong AI Gateway
同类项目推荐
vibebin
开源
在自己的服务器上，用容器托管代码并直接运行。
vibebin: code and host inside Incus containers on your own VPS/server.
recodex
开源
自建 Codex 中转站，轻松管理 AI 请求
Codex中转，可自部署的代理服务
TokenHub
开源
统一管理企业 AI 调用，让每一次请求可控可追溯。
TokenHub gives enterprises a private gateway to unify AI model access and governance···
paritok-4b-v1
开源
给编码问答先瘦身，速度翻倍还无损
Non-destructive compression gateway for AI coding agents. Cuts token bills 25% on tu···
ai-beehive
开源
一个 Java 网关，统一接入 ChatGPT、Midjourney 等 AI 服务，省去多平台对接麻烦。
AI 蜂巢，基于 Java 使用 Spring Boot 3 和 JDK 17，支持的功能有 ChatGPT、OpenAi Image、···
dsh-cost-meter
开源
按会话和模型实时算清 DeepSeek 花了多少钱
Cost tracking for DeepSeek Harness: session and model costs, token usage, budgets, p···
lupine
开源
让无GPU的电脑用上远程显卡，跑AI应用像本地一样
LUPINE is a GPU over IP bridge allowing GPUs on remote machines to be attached to CP···
redis-vl-python
开源
用 Redis 做向量检索，一套 Python 库搞定 AI 数据层
Redis Vector Library. The AI-native Python client for Redis.
WebAI-to-API
开源
把网页版AI变成API，轻松接入你的应用
Webchat to API