项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 81
核心亮点
- Go 语言编写，部署简单，性能开销低
- 提供统一入口，屏蔽多家模型 API 差异
- 内置路由与监控，便于做负载均衡和故障转移
不足之处
- 文档/社区待观察
适用场景
- 企业内部统一管理多个云厂商或自建模型服务
- 需要为多个业务团队提供集中式 AI 推理网关
- 构建高可用推理架构，实现模型流量的灰度切换与降级
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
同类项目推荐
vllm
开源
同一个模型跑出几倍速度，机器成本省一半
A high-throughput and memory-efficient inference and serving engine for LLMs
DataPup
开源
AI 加持的免费跨平台数据库客户端，让查询更智能
A modern, AI-assisted, cross-platform database client - free
hub
开源
用 Rust 打造的高性能 LLM 网关，自带监控，轻松管理大规模 AI 请求。
High-scale LLM gateway, written in Rust. OpenTelemetry-based observability included
qzcli_tool
开源
命令行管理启智AI任务，资源查询、提交、看日志一步到位，还能接入agent。
启智平台任务管理 CLI：资源查询、任务提交、日志查看和 MCP/agent workflow
spectralquant
开源
旋转特征基+注水位分配，KV-Cache 压缩不降精度
SpectralQuant: Calibrated Eigenbasis Rotation and Water-Filled Bit Allocation for KV···
Deepthink
开源
让大模型自动反复试错，批量搜出更优方案
Using LLMs for iteratively exploring the solution search space at scale.
llmaz
开源
在 K8s 上一键部署多种 LLM 推理服务
☸️ Easy, advanced inference platform for large language models on Kubernetes. Sta···
meridian
开源
把 Claude Max 订阅用到所有 AI 编程工具里，省心省钱
Use Claude and Antigravity with Pi, OpenCode and other coding clients. Local API bri···
llm7.io
开源
一个网关接入所有主流大模型，告别多套 SDK。
LLM7.io offers a single API gateway that connects you to a wide array of leading AI ···