
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 63
核心亮点
- gRPC 插件架构,核心功能可独立替换扩展,灵活性高
- 内置多账号调度与计费系统,直接解决成本分摊和限流问题
- docker compose 一键部署,降低自托管门槛
不足之处
- 文档/社区待观察
- 早期项目,生态和稳定性验证不足
适用场景
- 团队内部统一管理多个 AI API 密钥,实现负载均衡
- 搭建 AI 服务中转平台,向用户提供按量计费或拼车共享
- 需要高度定制化网关能力,通过插件扩展认证、审计等
替代项目
one-api、new-api、LiteLLM
同类项目推荐
astra-sim
开源
单机仿真万卡训练,提前看清网络瓶颈
ASTRA-sim2.0: Modeling Hierarchical Networks and Disaggregated Systems for Large-mod···
nexus-llm-router
开源
一个接口接入所有大模型,自动选最优,省钱又省心
Drop-in OpenAI-compatible LLM router and AI gateway (Chat Completions + Responses AP···
arboric
开源
给 AI 算力开经济模式,省 GPU 跑更多活
The "Economy Mode" for AI Compute
mlops-e2e
开源
用AWS原生服务搭建自动化ML流水线,一键部署模型
MLOps End-to-End Example using Amazon SageMaker Pipeline, AWS CodePipeline and AWS C···
OpenMemory
开源
AI 工具共用一份记忆,关掉重开照样记得你
Local persistent memory store for LLM applications including claude desktop, github ···
fastapi
开源
一个网关接入所有大模型,企业 AI 集成快人一步
企业级 LLM API 快速集成系统,支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···
vearch
开源
一键部署分布式向量搜索,让AI应用秒级找到相似内容
Distributed vector search for AI-native applications
ai-system
开源
一站式管理 AI 模型全生命周期,告别工具碎片化
LLM/MLOps/LLMOps
Mooncake
开源
用缓存复用和分离式调度,让大模型服务又快又省
Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonsho···