data-engineering

搭建现代数据栈,编排高质量数据管道,赋能分析与ML

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 41 🐛 待处理 2 👀 关注 7
GitHub ↗
GitHub 星标 ★ 254
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,本地部署,完全免费。

项目预览

data-engineering 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队GokuMohandas
定价模式🏷️完全免费
价格说明开源项目,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Jupyter Notebook
技术栈/模型airflow,data-engineering,data-warehouse,dbt,etl,machine-learning,mlops,orchestration
GitHub 星标★ 254
上线时间2022-09-12 00:00:00
代码更新2022-09-12
仓库体积43 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

data-engineering 是一个面向现代数据栈构建与工作流编排的开源项目,旨在帮助数据团队为分析和机器学习应用打造高质量的数据管道。它提供了一套结构化的方法论和工具集,覆盖数据采集、转换、测试、监控及编排等关键环节,解决数据工程中常见的管道碎片化、数据质量难以保障和运维复杂等问题。项目以 Jupyter Notebook 为主要载体,强调交互式开发和文档化实践,核心能力包括数据管道设计模式、数据质量验证框架、工作流调度集成(如 Airflow)以及可复用的代码模板,适合作为数据工程团队的参考实现和最佳实践指南。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 254

核心亮点

  • 提供从数据接入到质量验证的端到端实践模板,可直接复用
  • 强调数据质量测试与监控,降低管道出错风险
  • 以Notebook形式呈现,便于理解、修改和团队协作

不足之处

  • 项目处于早期阶段,文档和社区支持尚待完善
  • 技术栈以Jupyter Notebook为主,可能不适合大规模生产部署

适用场景

  • 数据团队搭建统一的数据管道架构
  • 需要为ML应用构建高质量特征数据
  • 数据工程师学习现代数据栈最佳实践

替代项目

dbt、Apache Airflow、Great Expectations

上一篇:kedro-kubeflow

下一篇:puppeteer

同类项目推荐

dify 开源

拖拖拽拽搭出 AI 应用,不会写代码也能上手

Build Agentic workflows, RAG pipelines, with rich AI model and tool support on one c···

★ 160692 2026-08-09
useR2024-pipeline-workshop 开源

用 R 免费部署监控 ML 管道,从零到生产实战

Materials for the useR!2024 conference workshop "Deploy and Monitor ML Pipelines wit···

★ 57 2026-08-09
ffmpeg-skill 开源

让 AI 代理本地剪视频,42 个 FFmpeg 工具开箱即用

Local video editor for coding agents: 42 FFmpeg tools with a machine-readable contra···

★ 4835 2026-10-20
analytics-tracking-automation 开源

AI自动搞定GA4和GTM事件埋点,从分析到发布全流程。

AI-powered GA4 + GTM event tracking — automates site analysis, event schema, GTM sy···

★ 145 2026-08-09
automate-for-growth 开源

一键自动化内容生产与分发,提升增长效率

Complete guide to automating content for growth: Sora 2 video generation, brand auth···

★ 948 2026-08-09
Data-Copilot 开源

说一句话,让智能体自动跑完海量数据处理流程

Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow

★ 1513 2026-10-23
anansi 开源

让爬虫自愈,对话式驱动,硬刚反爬站点

A self-healing scraper for hostile sites: broken selectors repair themselves, browse···

★ 117 2026-08-09
open-browser-use 开源

让 AI 直接操作真实 Chrome,告别平台锁定,一行命令搞定浏览器自动化。

Platform-neutral Browser Use for AI agents: real Chrome automation with a CLI + SDKs···

★ 418 2026-08-09
zhiai_nodes_comfyui 开源

把翻译、看图写词、扩写提示词塞进 ComfyUI 工作流,一键串联

55+ ComfyUI自定义节点合集,涵盖提示词生成/扩写、多平台翻译、AI视觉理解、图像处理、视···

★ 183 2026-10-06