dagster-mflix-demo

用 Dagster 跑通电影数据 ELT,快速上手现代数据栈

dagster-mflix-demo 是一个基于 Dagster 构建的示例 ELT 项目,演示如何将数据加载工具与 Snowflake 数据仓库集成。项目以 MFlix 电影数据集为示例数据,展示了从数据提取、转换到加载的完整数据管道流程。它解决了数据工程师在搭建 ELT 管道时缺乏参考实现的问题,通过实际代码演示了 Dagster 的 asset 定义、资源管理、调度编排等核心概念,以及如何与 dbt 等数据转换工具协同工作。项目核心能力包括:提供可运行的端到端 ELT 示例、展示 Dagster 与 Snowflake 的最佳实践集成方式、包含清晰的代码结构和配置管理。适合希望快速上手 Dagster 并了解现代数据栈集成的开发者作为学习参考。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 52
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队jayzern
所属国家
官网地址
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型dagster,data-engineering,dlt,mlops,python,snowflake,sql
GitHub 星标★ 52
30天Star增速
HF 下载量
上线时间2024-05-30 00:00:00
最近更新2026-08-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 端到端可运行的完整示例,覆盖从数据源到 Snowflake 的完整链路
  • 代码结构清晰,展示 Dagster asset 和资源的标准用法
  • 集成 Snowflake 和 dbt,贴近真实生产环境的技术栈组合

不足之处

  • 文档/社区待观察
  • 示例数据规模较小,未涉及复杂数据场景
  • 依赖外部服务(Snowflake)配置,本地复现成本较高

适用场景

  • 学习 Dagster 框架和 ELT 管道搭建
  • 作为团队内部 Dagster 项目脚手架参考
  • 演示 Dagster 与 Snowflake、dbt 集成方案

替代项目

dbt Labs 的 jaffle_shop 示例、Airflow 的 airflow-sample-dags、Meltano 的 meltano-demo-project

项目介绍

dagster-mflix-demo 是基础设施领域的开源项目,由 jayzern 开发,2024 年首次发布。

它收录于基础设施分类,该分类目前共有 1,132 个项目,GitHub 星标数为 52。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-18。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:学习Dagster框架和ELT管道搭建。同类可对比的替代方案包括 dbt Labs 的 jaffle_shop 示例、Airflow 的 airflow-sample-dags、Meltano 的 meltano-demo-p…。

上一篇:MLOps

下一篇:awesome-ml-experiment-management

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09