项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 102
技术标签
核心亮点
- 基于 Kubernetes 原生 CRD，声明式管理 LLM 服务，易于 GitOps 集成
- 自动处理 GPU 资源调度和节点选择，简化异构集群部署
- 支持 vLLM、TGI 等主流推理框架，提供统一抽象
不足之处
- 项目早期，文档和社区生态尚待完善
- 功能覆盖有限，高级特性（如自动扩缩容策略）可能不成熟
适用场景
- 在 Kubernetes 集群中标准化部署多种 LLM 模型服务
- 需要自动扩缩容和 GPU 资源优化的生产环境
- 结合 CI/CD 实现模型版本更新和回滚
替代项目
KServe、Seldon Core、vLLM 官方 Helm Chart
上一篇：sndr_core_engine
下一篇：OpenKL
同类项目推荐
E2B
开源
让 AI 智能体安全地运行代码、操作文件，直接对接真实世界工具
Open-source, secure environment with real-world tools for enterprise-grade agents.
airgate-core
开源
插件化 AI 网关，多账号调度+计费，一键部署拼车共享
插件化 AI 中转网关，平台能力以 gRPC 插件独立装载，支持多账号调度、计费与拼车共享，do···
gemma4.java
开源
纯 Java 跑 Gemma 4，不装 Python 也能本地推理
Fast Gemma 4 inference in pure Java
chroma
开源
给 AI 应用装一个超快的向量搜索引擎
Search infrastructure for AI
aimock
开源
本地一键 Mock 所有 AI 依赖，测试不烧钱不联网
Mock everything your AI app talks to — LLM APIs, MCP, A2A, AG-UI, vector DBs, searc···
sd-webui-all-in-one
开源
一键安装管理多种AI绘图工具，省去折腾环境
支持安装、下载、启动和管理多种 AI WebUI / 训练工具的一体化项目，提供 Installer、整合···
cortex
开源
统一管理多模型和智能体工具，一键切换后端AI服务
Open-source AI backend control plane for model routing, agent tools, OpenAI-compatib···
azure-enterprise-scale-ml
开源
在Azure上快速搭建合规的企业级AI平台，省心又安全
Enterprise Scale Azure Factory (ESAF) - on Azure
memsearch
开源
给 AI 智能体装上长期记忆，跨会话秒级召回关键信息
A persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, ···