项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 315
核心亮点
- 用 CRD 声明式管理模型与推理后端，避免手写大量 K8s 编排文件
- 同时支持 vLLM、SGLang、TGI、llama.cpp、Ollama 等多种引擎，切换成本低
- 原生对接 HuggingFace 与 ModelScope 模型仓库，模型拉取和缓存自动化
不足之处
- 项目处于早期阶段，Star 数较少，生产环境验证案例有限
- 文档与社区生态相对薄弱，遇到问题可参考的资料不多
适用场景
- 团队已有 K8s 集群，想统一部署多个开源大模型推理服务
- 需要在同一集群内按业务切换 vLLM、SGLang 等不同推理后端
- 希望用声明式配置替代手写 Deployment 来管理模型上线与扩缩容
替代项目
KServe、Ray Serve、vLLM Production Stack
上一篇：chats
下一篇：ollama-operator
同类项目推荐
ai-infra-landscape
开源
一张图看懂生成式AI基础设施全景，快速定位技术选型
This is a landscape of the infrastructure that powers the generative AI ecosystem
myapi
开源
一个终端，搞定网站、后端和支付，快速落地真实业务。
The unified API for autonomous companies. Ship a real business — website, backend, ···
clearml-agent
开源
一键排队运行ML任务，自动调度GPU，省心省力
ClearML Agent - MLOps/LLMOps made easy. MLOps/LLMOps scheduler & orchestration solut···
doris
开源
一套数据库搞定实时报表与AI向量检索
Apache Doris is a real-time analytics and hybrid search database for AI agents.
tensorlake
开源
一键部署智能体后台任务，沙箱安全执行代码
Tensorlake is a serverless runtime for sandboxes and deploying background agentic ap···
InfiniTensor
开源
让大模型在多种 GPU 上快速跑起来并方便做实验
InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···
thunderid
开源
为人类和 AI 智能体打造可组合的高性能身份认证与授权栈
ThunderID, an LF Decentralized Trust project, is a high-performance, open-source ide···
csghub-server
开源
自建大模型资产平台，统一管模型数据推理微调
csghub-server is the backend server for CSGHub which helps user to manage datasets, ···
fastapi-admin
开源
一个系统接入所有主流大模型，统一管理密钥与调用。
企业级 LLM API 快速集成系统，支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···