dagster-mflix-demo

用 Dagster 跑通电影数据 ELT,快速上手现代数据栈

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 21 👀 关注 1
GitHub ↗
GitHub 星标 ★ 55
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

dagster-mflix-demo 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队jayzern
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型dagster,data-engineering,dlt,mlops,python,snowflake,sql
GitHub 星标★ 55
上线时间2024-05-30 00:00:00
代码更新2024-07-20
仓库体积1.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

dagster-mflix-demo 是一个基于 Dagster 构建的示例 ELT 项目,演示如何将数据加载工具与 Snowflake 数据仓库集成。项目以 MFlix 电影数据集为示例数据,展示了从数据提取、转换到加载的完整数据管道流程。它解决了数据工程师在搭建 ELT 管道时缺乏参考实现的问题,通过实际代码演示了 Dagster 的 asset 定义、资源管理、调度编排等核心概念,以及如何与 dbt 等数据转换工具协同工作。项目核心能力包括:提供可运行的端到端 ELT 示例、展示 Dagster 与 Snowflake 的最佳实践集成方式、包含清晰的代码结构和配置管理。适合希望快速上手 Dagster 并了解现代数据栈集成的开发者作为学习参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 55

核心亮点

  • 端到端可运行的完整示例,覆盖从数据源到 Snowflake 的完整链路
  • 代码结构清晰,展示 Dagster asset 和资源的标准用法
  • 集成 Snowflake 和 dbt,贴近真实生产环境的技术栈组合

不足之处

  • 文档/社区待观察
  • 示例数据规模较小,未涉及复杂数据场景
  • 依赖外部服务(Snowflake)配置,本地复现成本较高

适用场景

  • 学习 Dagster 框架和 ELT 管道搭建
  • 作为团队内部 Dagster 项目脚手架参考
  • 演示 Dagster 与 Snowflake、dbt 集成方案

替代项目

dbt Labs 的 jaffle_shop 示例、Airflow 的 airflow-sample-dags、Meltano 的 meltano-demo-project

上一篇:MLOps

下一篇:awesome-ml-experiment-management

同类项目推荐

moe-l2 开源

8GB 显卡也能跑 100B+ MoE 大模型

MoE expert offload for low-VRAM GPUs — run 100B+ MoE models (DeepSeek, Qwen, Mixtra···

★ 145 2026-10-16
sdk 开源

用 Python 轻松在 K8s 上跑 AI 任务,无需懂运维

Universal Python SDK to run AI workloads on Kubernetes

★ 159 2026-08-09
EmbedAnything 开源

用 Rust 打造极速、安全的嵌入与索引流水线,让 AI 应用更快更稳

Highly Performant, Modular, Memory Safe and Production-ready Inference, Ingestion an···

★ 1322 2026-08-09
cactus 开源

让手机和机器人秒级跑起 AI 模型,省电又流畅

Sub-50mb agentic, voice and vision intelligence for consumer devices.

★ 14612 2026-08-09
mxcp 开源

把企业数据安全接入大模型,让 AI 直接查数分析

Model eXecution + Context Protocol: Enterprise-Grade Data-to-AI Infrastructure

★ 68 2026-08-09
Routerly 开源

换一个 URL,自动选最划算的 AI 模型

Self-hosted LLM gateway that routes requests across AI providers (OpenAI, Anthropic,···

★ 109 2026-08-09
k8m 开源

给 K8s 配个 AI 助手,一句话搞定集群运维

一款轻量级、跨平台的 Mini Kubernetes AI Dashboard,支持大模型+智能体+MCP(支持设置操作···

★ 893 2026-08-09
kiji-proxy 开源

给 OpenAI 请求加层隐私滤镜,敏感信息不外泄。

Privacy proxy for your OpenAI requests

★ 451 2026-08-09
gpustack 开源

一键管理 GPU 集群,轻松部署高性能 AI 模型服务

A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-de···

★ 6004 2026-08-09