kserve

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

• 一个可用的 Kubernetes 集群（KServe 是部署在 Kubernetes 上的推理平台）
• kubectl 命令行工具，用于在集群上执行安装与查看资源
• 如需 Serverless 部署（缩容到零、金丝雀发布），集群需支持 Knative（KServe 默认安装 Knative）
• 如需大规模、高频变更的模型服务场景，可选装 ModelMesh
• 生成式 AI 场景建议准备支持 GPU 的节点，以获得高性能推理与显存优化

安装与启动步骤

1. 1准备 Kubernetes 集群

   README 明确 KServe 是运行在 Kubernetes 上的推理平台，因此第一步需先具备可访问的集群并确保 kubectl 能正常连接。

2. 2选择安装方式

   README 给出四种选择：标准 Kubernetes（轻量、不支持金丝雀与缩容到零）、Knative、ModelMesh、以及本地机器快速安装。

3. 3按官方文档执行安装

   README 未给出具体安装命令，只链接到官网 admin-guide 的对应章节，请打开链接按所选方式操作。

4. 4本地快速试用

   若想在本地机器上先跑起来，README 推荐使用 Quick Installation，对应官网 getting-started 的快速开始指南。

5. 5Kubeflow 环境安装

   若集群已运行 Kubeflow，KServe 是其重要附加组件，可参考 Kubeflow 官方 KServe 文档，或 AWS、OpenShift 专用指南。

6. 6部署推理服务

   安装完成后即可部署模型：生成式 AI 可选用 vLLM 等优化后端并直接使用 Hugging Face 模型，预测式 AI 支持多框架。

如何确认成功

README 未提供验证命令，请按官网 Quickstart 指南检查 InferenceService 是否创建成功并进入就绪状态。

常见问题

注意事项

• README 中没有给出任何可直接复制的安装命令，全部安装步骤都指向 KServe 官网文档，请以官网为准。
• 本教程的命令字段留空是刻意的：与其编造命令，不如按 README 指引打开对应链接操作。
• serverless、缩容到零、金丝雀发布依赖 Knative；不需要这些能力时可选更轻量的标准 Kubernetes 安装。
• KServe 是 CNCF 孵化项目，已在众多组织中使用，生产部署前建议先阅读官网 admin-guide 的完整要求。