pipelines

在 Kubernetes 上编排机器学习流水线，一键运行和监控

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 2186 🐛 待处理 377 👀 关注 94

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4262

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

项目数据

分类基础设施

开发团队kubeflow

官网地址https://www.kubeflow.org/docs/components/pipelines

GitHubhttps://github.com/kubeflow/pipelines

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型data-science,kubeflow,kubeflow-pipelines,kubernetes,machine-learning,mlops,pipeline

GitHub 星标★ 4262

上线时间2018-05-12 00:00:00

代码更新2026-11-08

仓库体积397.3 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数3

项目介绍

pipelines 是 Kubeflow 项目下的机器学习流水线组件，用于在 Kubernetes 上构建、部署和管理端到端的 ML 工作流。它解决了机器学习实验和生产中工作流编排复杂、难以复用和扩展的问题。核心能力包括：基于 Python SDK 定义流水线组件和依赖关系，支持参数化、条件分支和循环；提供可视化界面（KFP UI）来查看运行状态、比较实验和排查故障；支持与 Kubeflow 生态（如 Katib、KServe）无缝集成，实现超参调优和模型服务。通过将流水线编译为 Kubernetes 资源，实现了可移植性和可扩展性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4262

技术标签

data-science kubeflow kubernetes machine-learning mlops

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 30 分钟部署方式：本地安装 8 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Kubernetes 集群（README 提及 1.20+ 起 Docker 运行时已废弃）
任意受支持的容器运行时（Emissary Executor 与容器运行时无关）
可选：本地开发安装 just 命令运行器
本地开发使用 make（just 配方是 make 目标的封装）

安装与启动步骤

1准备 Kubernetes 集群

Kubeflow Pipelines 运行在 Kubernetes 上；1.20+ 已废弃 Docker 运行时，Emissary 执行器兼容任意容器运行时。
2选择安装方式

可作为 Kubeflow Platform 的一部分安装，也可将 Kubeflow Pipelines 作为独立服务部署，具体命令见官网安装文档。
3确认默认执行器

Kubeflow Pipelines 1.8 起默认使用 Emissary Executor，无需为容器运行时差异做额外适配。
4可选安装 just

仓库根目录提供可选的 just 命令运行器，仅为本地开发提供 make 目标的简短别名，不影响 CI 和发布流程。
5列出可用配方

安装 just 后在仓库根目录执行，列出所有可用配方，确认本地开发环境就绪。
```
just
```
6运行后端测试

这是对已有 make 目标的薄封装，用于本地运行后端测试。
```
just backend-test
```
7构建后端镜像

重型或需要构建 Docker 镜像的流程只通过显式命名的配方暴露。
```
just backend-images
```
8直接调用 make

不使用 just 时，可直接执行其封装的 make 目标，效果等价。
```
make -C backend/src/v2 test
```

如何确认成功

在仓库根目录执行 just，能列出可用配方（含 backend-test、backend-images），说明本地开发环境就绪。

常见问题

Q：为什么没有 just build 或 just test？

A：仓库有意不提供通用的 build/test 配方，重型或 Docker 构建流程只通过显式命名的配方（如 backend-images）暴露。

Q：Kubernetes 1.20+ 还能用 Docker 运行时吗？

A：Docker 容器运行时在 Kubernetes 1.20+ 已废弃；Kubeflow Pipelines 1.8 起默认使用 Emissary Executor，适配任意容器运行时。

Q：可以不装整个 Kubeflow 平台吗？

A：可以。Kubeflow Pipelines 既可以作为 Kubeflow Platform 的一部分安装，也可以作为独立服务部署。

Q：just 会替代 make 吗？

A：不会。所有 just 配方都是已有 make 目标的薄封装（例如 make -C backend/src/v2 test），CI 与发布流程不受影响。

注意事项

README 的安装章节只给出官方文档链接，未提供可直接复制的部署命令，实际安装请按官网文档操作。
Docker 容器运行时在 Kubernetes 1.20+ 已废弃，Kubeflow Pipelines 1.8 起默认使用 Emissary Executor。
just 是可选工具，仅用于本地开发便利，不替代任何 CI 或发布工作流。