项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 100
核心亮点
- 预集成多种主流 GenAI 组件（LiteLLM、vLLM、向量数据库等），开箱即用
- 基于 Kubernetes 和 EKS，天然支持弹性伸缩和 GPU 调度
- 提供完整的可观测性方案（Langfuse、Phoenix），便于监控和调试
不足之处
- 项目较新，文档和社区支持尚待完善
- 依赖 AWS 生态，迁移到其他云平台成本较高
适用场景
- 在 AWS 上快速搭建企业级 GenAI 推理平台
- 需要统一管理多个 LLM 服务和向量数据库的团队
- 希望利用 Kubernetes 弹性能力部署 AI 工作负载的开发者
替代项目
KServe、Ray Serve、Helm Charts for LLM
上一篇：bex
下一篇：dns-aid-core
同类项目推荐
llm-sandbox
开源
给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车
Lightweight and portable LLM sandbox runtime (code interpreter) Python library.
obelisk
开源
让AI代理记住每次会话，历史经验随时可查
Every past session, subagent, and workflow -- queryable by your agent, browsable by ···
omegaml
开源
一站式搞定模型从训练到上线，省心省力
MLOps simplified. One-stop AI delivery platform, all the features you need.
deepmem
开源
5分钟换掉Mem0，检索快2倍成本省10倍
Drop-in AI memory layer with 2x faster retrieval and 10x lower cost. Fully compatibl···
vllm-plugin-FL
开源
让 vLLM 一套代码跑多种国产芯片
A vLLM plugin built on the FlagOS unified multi-chip backend.
one-api-pro
开源
统一管理多模型，精准控成本，高可用部署一步到位
oneapi-pro is an enterprise-grade AI API Gateway built on oneapi（one-api）. It has ···
MLOpsPython
开源
用 Azure 全家桶，把机器学习模型从训练到上线全流程自动化。
MLOps using Azure ML Services and Azure DevOps
all-api-hub
开源
一站式管理所有 AI 中转账号，余额、签到、密钥全搞定
All-in-one New-API/Sub2API account hub: balance/usage dashboard, auto check-in, one-···
leanctx
开源
不换代码，一键压缩提示词，立省 40-60% token 费用
Drop-in prompt compression for production LLM apps. Cut your token bill 40-60% witho···