data-engineering 是自动化工作流领域的开源项目，由 GokuMohandas 开发，2022 年首次发布。
它收录于自动化工作流分类，该分类目前共有 503 个项目，GitHub 星标数为 253。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。本地部署，完全免费。
它主要面向的使用场景是：数据团队搭建统一的数据管道架构。同类可对比的替代方案包括 dbt、Apache Airflow、Great Expectations。
data-engineering
搭建现代数据栈，编排高质量数据管道，赋能分析与ML
data-engineering 是一个面向现代数据栈构建与工作流编排的开源项目，旨在帮助数据团队为分析和机器学习应用打造高质量的数据管道。它提供了一套结构化的方法论和工具集，覆盖数据采集、转换、测试、监控及编排等关键环节，解决数据工程中常见的管道碎片化、数据质量难以保障和运维复杂等问题。项目以 Jupyter Notebook 为主要载体，强调交互式开发和文档化实践，核心能力包括数据管道设计模式、数据质量验证框架、工作流调度集成（如 Airflow）以及可复用的代码模板，适合作为数据工程团队的参考实现和最佳实践指南。
开源
free
基础设施
GitHub 星标
★ 252
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队GokuMohandas
所属国家
定价模式free
价格说明开源项目，本地部署，完全免费。
访问状态
是否开源是
开源协议
主要语言Jupyter Notebook
技术栈/模型airflow,data-engineering,data-warehouse,dbt,etl,machine-learning,mlops,orchestration
GitHub 星标★ 252
30天Star增速
HF 下载量
上线时间2022-09-12 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 提供从数据接入到质量验证的端到端实践模板，可直接复用
- 强调数据质量测试与监控，降低管道出错风险
- 以Notebook形式呈现，便于理解、修改和团队协作
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善
- 技术栈以Jupyter Notebook为主，可能不适合大规模生产部署
适用场景
- 数据团队搭建统一的数据管道架构
- 需要为ML应用构建高质量特征数据
- 数据工程师学习现代数据栈最佳实践
替代项目
dbt、Apache Airflow、Great Expectations
项目介绍
上一篇：kedro-kubeflow
下一篇：puppeteer
同类项目推荐
n8n
开源
拖拽搭建自动化流程，轻松接入 AI 与 400+ 应用，搞定重复工作。
Fair-code workflow automation platform with native AI capabilities. Combine visual b···
feishu-docx
开源
让 AI 代理轻松读写飞书文档，双向转换 Markdown
Feishu/Lark Docs、Sheet、Bitable <-> Markdown | AI Agent-friendly knowledge base exp···
robotcode
开源
让 Robot Framework 拥有现代 IDE 体验，调试、补全、运行一气呵成。
Open Source Toolkit for Robot Framework, providing Language Server Protocol support,···
puppeteer
开源
用 JavaScript 轻松操控无头浏览器，搞定自动化测试与网页抓取。
JavaScript API for Chrome and Firefox