项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-17 · 当前星标 ★ 1290
技术标签
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- 本地 Kubernetes 集群（kind 或 minikube）
- 若使用 Podman 运行 kind，Podman machine 内存上限需提到 6G
- 硬件可为 CPU、GPU 或 TPU
- 无需 Istio、Knative 等额外依赖
安装与启动步骤
-
1创建本地集群
用 kind 或 minikube 搭建本地 Kubernetes 集群，作为安装 KubeAI 的基础环境。
-
2Podman 调内存
若用 Podman 跑 kind，需把 Podman machine 内存上限从默认 2G 提升到 6G，否则可能资源不足。
-
3参考官方 quickstart
README 节选未给出完整安装命令，请按官网 Local Quickstart 文档继续安装。
如何确认成功
README 节选未给出启动验证方法，请以官网 quickstart 的输出为准。
常见问题
Q：必须要有 GPU 吗？
A：不需要。KubeAI 硬件灵活，可运行在 CPU、GPU 或 TPU 上。
Q：需要额外装 Istio 或 Knative 吗？
A：不需要。KubeAI 主打零依赖，不要求 Istio、Knative 等组件。
Q：本地用什么搭集群？
A：README 建议使用 kind 或 minikube 创建本地 Kubernetes 集群。
Q：业务代码要改吗？
A：不用。KubeAI 提供兼容 OpenAI 的 API，可直接用现有 OpenAI 客户端库调用。
注意事项
- README 节选只包含 Local Quickstart 片段，未提供可复制的安装命令，完整步骤请查阅 https://www.kubeai.org 。
- 使用 Podman 运行 kind 时务必先调整 Podman machine 内存，默认上限为 2G。
- 该 Operator 面向 Kubernetes，本地体验需先具备可用的集群环境。
核心亮点
- 用 CRD 声明模型即可部署，自动选择 vLLM/Ollama/Faster Whisper 等后端
- 内置基于请求量的自动扩缩容，支持缩到零节省 GPU 成本
- 统一暴露 OpenAI 兼容 API，业务代码无需改动即可切换模型
不足之处
- 强依赖 Kubernetes 和 GPU 环境，无集群或纯 CPU 场景上手成本高
- 项目处于成长阶段，生态和文档成熟度相比老牌方案仍有差距
适用场景
- 已有 K8s 集群的团队自建 LLM 推理服务并对外提供 API
- 需要按流量自动扩缩容、控制 GPU 成本的模型服务平台
- 统一管理多种模型（对话、向量、语音）的 AI 基础设施层
替代项目
KServe、Ray Serve、vLLM
上一篇：rapid_llm
下一篇：ComputeLibrary
同类项目推荐
gptGrok2api
开源
批量注册 ChatGPT/Grok 账号，自动转成 API 网关
ChatGPT/GPT 注册机｜Grok 注册机｜全自动纯协议注册，支持 OAuth、邮箱接码、账号池、代理···
weaviate
开源
既要精准筛选又能模糊找相似，检索一步到位
Weaviate is an open-source vector database that stores both objects and vectors, all···
ctransformers
开源
在 Python 里直接跑 GGML 量化模型，本地推理又快又省资源。
Python bindings for the Transformer models implemented in C/C++ using GGML library.
codegate
开源
给 AI 代理加道安全闸，多开不串台
CodeGate: Security, Workspaces and Multiplexing for AI Agentic Frameworks
gerbil
开源
桌面一键运行本地大模型和图像生成，保护隐私
A desktop app for running Large Language Models locally.
amazon-eks-machine-learning-with···
开源
用 Terraform 一键在 EKS 上搭好 Kubeflow 机器学习平台
MLOps on Amazon EKS
pmetal
开源
Mac 上一条龙跑大模型：推理、微调、服务全本地
PMetal: high-performance Apple Silicon framework for local LLM inference, LoRA/QLoRA···
awesome-production-machine-learn···
开源
一站式找到ML生产落地所需的所有开源工具
A curated list of awesome open source libraries to deploy, monitor, version and scal···
ollama-swift
开源
Swift 项目一键接入本地 Ollama 大模型
A Swift client library for interacting with Ollama. Supports structured outputs, too···