ploomber

像写 Notebook 一样快速构建数据管道，一键部署上云。

Ploomber 是一个用于构建数据管道的 Python 框架，旨在加速从开发到部署的整个流程。它解决了数据工程中常见的迭代速度慢、环境切换复杂、部署困难等问题。其核心能力包括：支持将脚本、Notebook 和 SQL 查询组合成模块化管道，提供交互式开发体验（如 Jupyter 集成），并能将管道一键部署到云平台（如 AWS、GCP）或 Kubernetes。Ploomber 通过声明式配置（如 pipeline.yaml）定义任务依赖，自动处理执行顺序和并行化，同时支持参数化、缓存和增量计算，帮助团队提升数据管道开发效率。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3620

维护状态低维护

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队ploomber

所属国家

官网地址https://docs.ploomber.io

GitHubhttps://github.com/ploomber/ploomber

定价模式free

价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型data-engineering,data-science,jupyter,jupyter-notebooks,machine-learning,mlops,notebooks,papermill,pipelines,pycharm,vscode,workflow

GitHub 星标★ 3620

30天Star增速

HF 下载量

上线时间2020-01-20 00:00:00

最近更新2026-09-14 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数5

使用教程

难度：入门约 5 分钟部署方式：库/依赖 4 步

环境要求

Python 3.7 或更高版本（README 明确标注兼容 Python 3.7+）
已安装 pip 或 conda 包管理器（二选一即可完成安装）
如需部署到集群或云平台，需另行准备 Kubernetes / Airflow / AWS Batch / SLURM 环境（可选）

安装与启动步骤

1确认 Python 版本

Ploomber 要求 Python 3.7 及以上，先确认本机 Python 版本满足要求，否则升级 Python 后再安装。
```
python --version
```
2用 pip 安装

README 推荐的首选安装方式，在已激活的 Python 环境中执行即可，无需额外系统依赖。
```
pip install ploomber
```
3或改用 conda 安装

如果使用 conda 管理环境，可改为从 conda-forge 渠道安装，两种方式任选其一，不要重复安装。
```
conda install ploomber -c conda-forge
```
4验证安装结果

查看已安装的 ploomber 包信息，能正常输出包名与版本号即说明安装成功。
```
pip show ploomber
```

关键配置

配置项	必填	说明	示例
`pipeline.yaml`	是	声明式定义管道任务及其依赖关系，Ploomber 据此确定执行顺序	`pipeline.yaml`

如何确认成功

能查到 ploomber 包信息，或在 Python 中导入 ploomber 不报错，即表示安装成功。

常见问题

Q：pip 安装失败或速度很慢怎么办？

A：README 提供了替代方案，可改用 conda 安装：conda install ploomber -c conda-forge，从 conda-forge 渠道获取。

Q：支持哪些 Python 版本？

A：README 明确说明兼容 Python 3.7 及更高版本，低于 3.7 的环境需先升级 Python。

Q：安装 Ploomber 需要 Docker 吗？

A：不需要。Ploomber 是 Python 库，用 pip 或 conda 安装后即可在本地机器上使用；只有部署到 Kubernetes 等平台时才涉及额外环境配置。

Q：如何把管道部署到云端或集群？

A：README 指向 soopervisor 的 Kubernetes、Airflow、AWS Batch、SLURM 教程，也可使用 Ploomber Cloud 部署（见文档链接）。

注意事项

开发阶段可在 Jupyter、VSCode、PyCharm 中交互式编写管道，部署时无需修改代码。
部署到 Kubernetes、Airflow、AWS Batch、SLURM 需参考 soopervisor 文档，README 未给出具体部署命令。
完整文档见 https://docs.ploomber.io ，遇到问题可加入官方社区（https://ploomber.io/community）。
README 提到可在 Ploomber Cloud 上免费部署 AI 应用，但未给出具体操作步骤。

核心亮点

交互式开发：直接在 Jupyter 中调试管道，无需等待整个流程跑完
模块化组合：支持脚本、Notebook、SQL 混合编排，复用现有代码
部署灵活：可本地、Kubernetes 或云厂商执行，切换成本低

不足之处

文档/社区待观察

适用场景

数据团队快速原型验证并迁移到生产环境
需要混合使用 SQL 和 Python 的批处理任务
希望统一本地开发与云端部署的管道编排

替代项目

Airflow、Prefect、Dagster

项目介绍

ploomber 是基础设施领域的开源项目，由 ploomber 开发，2020 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（3,620）位列前 30%，在基础设施分类中处于中上游。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-14。Apache-2.0 许可证，可免费使用和部署。

它主要面向的使用场景是：数据团队快速原型验证并迁移到生产环境。同类可对比的替代方案包括 Airflow、Prefect、Dagster。

上一篇：mlops-workload-orchestrator

下一篇：awesome-open-mlops