pipelines

在 Kubernetes 上编排机器学习流水线,一键运行和监控

pipelines 是 Kubeflow 项目下的机器学习流水线组件,用于在 Kubernetes 上构建、部署和管理端到端的 ML 工作流。它解决了机器学习实验和生产中工作流编排复杂、难以复用和扩展的问题。核心能力包括:基于 Python SDK 定义流水线组件和依赖关系,支持参数化、条件分支和循环;提供可视化界面(KFP UI)来查看运行状态、比较实验和排查故障;支持与 Kubeflow 生态(如 Katib、KServe)无缝集成,实现超参调优和模型服务。通过将流水线编译为 Kubernetes 资源,实现了可移植性和可扩展性。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 4226
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队kubeflow
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型data-science,kubeflow,kubeflow-pipelines,kubernetes,machine-learning,mlops,pipeline
GitHub 星标★ 4226
30天Star增速
HF 下载量
上线时间2018-05-12 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

难度:高级 约 30 分钟 部署方式:本地安装 8 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Kubernetes 集群(README 提及 1.20+ 起 Docker 运行时已废弃)
  • 任意受支持的容器运行时(Emissary Executor 与容器运行时无关)
  • 可选:本地开发安装 just 命令运行器
  • 本地开发使用 make(just 配方是 make 目标的封装)

安装与启动步骤

  1. 1准备 Kubernetes 集群

    Kubeflow Pipelines 运行在 Kubernetes 上;1.20+ 已废弃 Docker 运行时,Emissary 执行器兼容任意容器运行时。

  2. 2选择安装方式

    可作为 Kubeflow Platform 的一部分安装,也可将 Kubeflow Pipelines 作为独立服务部署,具体命令见官网安装文档。

  3. 3确认默认执行器

    Kubeflow Pipelines 1.8 起默认使用 Emissary Executor,无需为容器运行时差异做额外适配。

  4. 4可选安装 just

    仓库根目录提供可选的 just 命令运行器,仅为本地开发提供 make 目标的简短别名,不影响 CI 和发布流程。

  5. 5列出可用配方

    安装 just 后在仓库根目录执行,列出所有可用配方,确认本地开发环境就绪。

    just
  6. 6运行后端测试

    这是对已有 make 目标的薄封装,用于本地运行后端测试。

    just backend-test
  7. 7构建后端镜像

    重型或需要构建 Docker 镜像的流程只通过显式命名的配方暴露。

    just backend-images
  8. 8直接调用 make

    不使用 just 时,可直接执行其封装的 make 目标,效果等价。

    make -C backend/src/v2 test

如何确认成功

在仓库根目录执行 just,能列出可用配方(含 backend-test、backend-images),说明本地开发环境就绪。

常见问题

Q:为什么没有 just build 或 just test?

A:仓库有意不提供通用的 build/test 配方,重型或 Docker 构建流程只通过显式命名的配方(如 backend-images)暴露。

Q:Kubernetes 1.20+ 还能用 Docker 运行时吗?

A:Docker 容器运行时在 Kubernetes 1.20+ 已废弃;Kubeflow Pipelines 1.8 起默认使用 Emissary Executor,适配任意容器运行时。

Q:可以不装整个 Kubeflow 平台吗?

A:可以。Kubeflow Pipelines 既可以作为 Kubeflow Platform 的一部分安装,也可以作为独立服务部署。

Q:just 会替代 make 吗?

A:不会。所有 just 配方都是已有 make 目标的薄封装(例如 make -C backend/src/v2 test),CI 与发布流程不受影响。

注意事项

  • README 的安装章节只给出官方文档链接,未提供可直接复制的部署命令,实际安装请按官网文档操作。
  • Docker 容器运行时在 Kubernetes 1.20+ 已废弃,Kubeflow Pipelines 1.8 起默认使用 Emissary Executor。
  • just 是可选工具,仅用于本地开发便利,不替代任何 CI 或发布工作流。

核心亮点

  • 提供 Python DSL 和轻量组件,定义流水线代码简洁,上手快
  • 原生集成 Kubernetes,支持资源隔离、弹性伸缩和故障恢复
  • 自带可视化 UI,可直观查看运行日志、指标和 DAG 图

不足之处

  • 组件版本兼容性管理复杂,升级时易出现破坏性变更
  • 文档和社区活跃度待观察,部分高级功能示例不足

适用场景

  • 机器学习实验的流程标准化和自动化
  • 生产环境中的定时训练、批处理推理流水线
  • 需要与超参调优、模型部署结合的一体化平台

替代项目

Airflow、Prefect、Argo Workflows

项目介绍

pipelines 是基础设施领域的开源项目,由 kubeflow 开发,2018 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(4,226)位列前 10%,在基础设施分类中处于中上游。

近 42 天,它的 GitHub 星标从 4,181 增加到 4,226,净增 45。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,可免费使用和部署。

它主要面向的使用场景是:机器学习实验的流程标准化和自动化。同类可对比的替代方案包括 Airflow、Prefect、Argo Workflows。

上一篇:sdk

下一篇:weightslab

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09