ploomber

像写 Notebook 一样快速构建数据管道,一键部署上云。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 242 🐛 待处理 110 👀 关注 2 ⚠️ 作者已归档(停止维护)
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3622
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和部署。

项目预览

ploomber 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队ploomber
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型data-engineering,data-science,jupyter,jupyter-notebooks,machine-learning,mlops,notebooks,papermill,pipelines,pycharm,vscode,workflow
GitHub 星标★ 3622
上线时间2020-01-20 00:00:00
代码更新2025-05-29
仓库体积6.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Ploomber 是一个用于构建数据管道的 Python 框架,旨在加速从开发到部署的整个流程。它解决了数据工程中常见的迭代速度慢、环境切换复杂、部署困难等问题。其核心能力包括:支持将脚本、Notebook 和 SQL 查询组合成模块化管道,提供交互式开发体验(如 Jupyter 集成),并能将管道一键部署到云平台(如 AWS、GCP)或 Kubernetes。Ploomber 通过声明式配置(如 pipeline.yaml)定义任务依赖,自动处理执行顺序和并行化,同时支持参数化、缓存和增量计算,帮助团队提升数据管道开发效率。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3622

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 5 分钟 部署方式:库/依赖 4 步

环境要求

  • Python 3.7 或更高版本(README 明确标注兼容 Python 3.7+)
  • 已安装 pip 或 conda 包管理器(二选一即可完成安装)
  • 如需部署到集群或云平台,需另行准备 Kubernetes / Airflow / AWS Batch / SLURM 环境(可选)

安装与启动步骤

  1. 1确认 Python 版本

    Ploomber 要求 Python 3.7 及以上,先确认本机 Python 版本满足要求,否则升级 Python 后再安装。

    python --version
  2. 2用 pip 安装

    README 推荐的首选安装方式,在已激活的 Python 环境中执行即可,无需额外系统依赖。

    pip install ploomber
  3. 3或改用 conda 安装

    如果使用 conda 管理环境,可改为从 conda-forge 渠道安装,两种方式任选其一,不要重复安装。

    conda install ploomber -c conda-forge
  4. 4验证安装结果

    查看已安装的 ploomber 包信息,能正常输出包名与版本号即说明安装成功。

    pip show ploomber

关键配置

配置项必填说明示例
pipeline.yaml是声明式定义管道任务及其依赖关系,Ploomber 据此确定执行顺序pipeline.yaml

如何确认成功

能查到 ploomber 包信息,或在 Python 中导入 ploomber 不报错,即表示安装成功。

常见问题

Q:pip 安装失败或速度很慢怎么办?

A:README 提供了替代方案,可改用 conda 安装:conda install ploomber -c conda-forge,从 conda-forge 渠道获取。

Q:支持哪些 Python 版本?

A:README 明确说明兼容 Python 3.7 及更高版本,低于 3.7 的环境需先升级 Python。

Q:安装 Ploomber 需要 Docker 吗?

A:不需要。Ploomber 是 Python 库,用 pip 或 conda 安装后即可在本地机器上使用;只有部署到 Kubernetes 等平台时才涉及额外环境配置。

Q:如何把管道部署到云端或集群?

A:README 指向 soopervisor 的 Kubernetes、Airflow、AWS Batch、SLURM 教程,也可使用 Ploomber Cloud 部署(见文档链接)。

注意事项

  • 开发阶段可在 Jupyter、VSCode、PyCharm 中交互式编写管道,部署时无需修改代码。
  • 部署到 Kubernetes、Airflow、AWS Batch、SLURM 需参考 soopervisor 文档,README 未给出具体部署命令。
  • 完整文档见 https://docs.ploomber.io ,遇到问题可加入官方社区(https://ploomber.io/community)。
  • README 提到可在 Ploomber Cloud 上免费部署 AI 应用,但未给出具体操作步骤。

核心亮点

  • 交互式开发:直接在 Jupyter 中调试管道,无需等待整个流程跑完
  • 模块化组合:支持脚本、Notebook、SQL 混合编排,复用现有代码
  • 部署灵活:可本地、Kubernetes 或云厂商执行,切换成本低

不足之处

  • 文档/社区待观察

适用场景

  • 数据团队快速原型验证并迁移到生产环境
  • 需要混合使用 SQL 和 Python 的批处理任务
  • 希望统一本地开发与云端部署的管道编排

替代项目

Airflow、Prefect、Dagster

同类项目推荐

memsearch 开源

给 AI 智能体装上长期记忆,跨会话秒级召回关键信息

A persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, ···

★ 2856 2026-08-09
llamafile 开源

一个文件搞定大模型,下载即用,跨平台运行

Distribute and run LLMs with a single file.

★ 26604 2026-08-10
anolisa 开源

用 Rust 打造 AI 代理的底层操作系统,让多代理协同更稳更安全。

ANOLISA (Agentic Nexus Operating Layer & Interface System Architecture) | Agentic OS···

★ 662 2026-08-09
flama 开源

一行命令把模型变成 API,自带聊天界面和 MCP 支持

The production framework for Predictive and Generative AI. Serve any model as an API···

★ 306 2026-08-09
ServerlessLLM 开源

把大模型部署变成按需调用的无服务器服务,省钱又省心

Serverless LLM Serving for Everyone.

★ 718 2026-08-09
python-sdk 开源

用 Python 轻松操作 Pinecone 向量库,快速实现向量检索

Official Python SDK for the Pinecone vector database

★ 456 2026-08-09
AIHelms 开源

统一纳管 AI 资源,精准控成本、强治理、提效能

企业级 AI 资源纳管平台,提供统一 AI网关、Token调度能力,纳管 OpenAI、Azure、Claude、···

★ 1033 2026-08-09