dagster

用资产思维编排数据管道，让开发、调度、监控一体化。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 2405 🐛 待处理 2627 👀 关注 155
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 16378
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

dagster 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队dagster-io
官网地址https://dagster.io
GitHubhttps://github.com/dagster-io/dagster
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型analytics,dagster,data-engineering,data-integration,data-orchestrator,data-pipelines,data-science,etl,metadata,mlops,orchestration,python,scheduler,workflow,workflow-automation
GitHub 星标★ 16378
上线时间2018-04-30 00:00:00
代码更新2026-11-07
仓库体积1.44 GB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

Dagster 是一个面向数据资产的开源编排平台，专注于数据开发、生产和观测的全流程管理。它解决了传统数据管道工具在开发、部署和监控中割裂的问题，提供统一的开发环境、调度执行和可观测性能力。其核心能力包括：以数据资产为中心的定义模型，支持声明式依赖；可插拔的 I/O 管理器，实现数据读写抽象；内置资源系统，管理外部服务连接；以及强大的 UI 和 CLI，支持实时监控、日志查看和故障排查。Dagster 还提供软件定义资产（SDA）和作业（Job）两种抽象，兼顾资产导向和任务导向的工作流，并支持与 Airflow、dbt 等工具集成，适合构建可靠、可测试、可扩展的数据平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 16378

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门 约 10 分钟 部署方式：库/依赖 5 步

环境要求

  • Python 3.9 至 3.14（README 声明的官方支持范围）
  • 已安装 uv 包管理工具（README 的安装命令基于 uv）
  • 可访问 PyPI 的网络环境
  • 若需 Web 界面，需一并安装 dagster-webserver

安装与启动步骤

  1. 1确认 Python 版本

    在终端执行命令查看版本，确保处于 README 声明的 3.9 至 3.14 支持区间，版本过低或过高都可能不兼容。

    python --version

  2. 2准备 uv 环境

    README 给出的安装命令基于 uv。若本机尚未安装 uv，请先按 uv 官方文档完成安装，再继续下一步。

  3. 3安装 Dagster 依赖

    在项目目录下执行该命令，一次性加入核心库 dagster、Web 服务 dagster-webserver 和 CLI 工具 dagster-dg-cli。

    uv add dagster dagster-webserver dagster-dg-cli

  4. 4编写首个数据资产

    Dagster 的核心用法是用 Python 函数声明数据资产，随后由其负责在合适时间运行并保持资产最新。

  5. 5跟随官方教程

    新手建议先读官方文档并完成动手教程，快速跑通一条端到端 ETL 管道后再接入真实数据。

如何确认成功

uv add 命令执行完成且无报错，dagster、dagster-webserver、dagster-dg-cli 已写入项目依赖即安装成功。

常见问题

Q：Dagster 支持哪些 Python 版本？

A：README 明确说明官方支持 Python 3.9 到 3.14，请在该区间内选择解释器版本。

Q：不想用 uv，可以用 pip 安装吗？

A：README 只给出了 uv 的安装命令，未提供 pip 写法。PyPI 上的包名为 dagster，建议以官方文档的安装说明为准。

Q：只安装 dagster 一个包可以吗？

A：README 推荐同时安装 dagster-webserver 提供 Web UI、dagster-dg-cli 提供命令行能力，三者一起装体验更完整。

Q：怎么快速上手写第一个管道？

A：README 建议查阅官方文档 docs.dagster.io 或按 ETL 管道动手教程逐步操作。

注意事项

  • README 仅提供了 uv 方式的安装命令，其他安装方式请以官方文档为准，不要自行猜测参数。
  • 本教程未包含启动 Web 服务、定义资源等命令，因为 README 节选中未给出对应说明。
  • dagster-webserver 负责界面与观测，dagster-dg-cli 负责命令行操作，两者分工不同。
  • Dagster 是云原生数据管道编排器，支持 Python 3.9 至 3.14。

核心亮点

  • 以数据资产为中心，天然支持数据血缘和依赖管理
  • 内置资源系统和 I/O 管理器，简化外部服务集成和读写抽象
  • 强大的 UI 和可观测性，实时监控管道状态和日志

不足之处

  • 学习曲线较陡，概念较多（资产、作业、资源等）
  • 文档和社区相对较小，部分高级用法示例不足

适用场景

  • 数据团队构建端到端的数据管道并需要清晰的血缘关系
  • 需要统一开发、调度和监控的复杂数据平台
  • 与 dbt、Spark 等工具结合，实现数据转换和编排

替代项目

Apache Airflow、Prefect、Luigi

上一篇：useR2024-pipeline-workshop

下一篇：maestro

同类项目推荐

PaiAgent 开源

用 Java 拖出一条 AI 工作流，跑通就上线

轻量级的AI工作流编排系统，类似dify、n8n，全程使用Vibe Coding，AI工具为Qoder+CLI。涉及···

★ 715 2026-09-20
superglue 开源

说人话，自动生成生产级系统集成工具。

superglue's AI agents connect, migrate and implement enterprise systems. Cloud-hoste···

★ 2070 2026-08-09
stagehand-python 开源

用自然语言指挥浏览器，自动完成点击填表与抓取

⚠️ No longer maintained The official Stagehand Python source has moved here. Docu···

★ 516 2026-09-18
open-dynamic-workflows 开源

一套工作流，跑遍所有主流AI编程助手

Open Dynamic Workflows: TypeScript CLI runtime for Claude Code-style dynamic workflo···

★ 113 2026-08-09
loom 开源

让 AI 代理自动循环交付，少人工盯梢

Loop engineering for agentic software delivery.

★ 1447 2026-10-12
stealth-browser-mcp 开源

用聊天命令操控浏览器，轻松绕过反爬虫，实现像素级自动化。

Stealth browser automation for AI agents over MCP and the Chrome DevTools Protocol: ···

★ 3352 2026-08-14
Ariadne 开源

用 Python 优雅开发 QQ 机器人，快速实现自动化交互

一个优雅且完备的 Python QQ 自动化框架，基于 Mirai API HTTP v2。 Powered by Graia ···

★ 760 2026-08-09
typesafe-computer-use 开源

OCR 读屏加类型约束，两毛钱一步让 AI 点 Mac

Computer use for about $0.0002 a step: OCR the screen, classify the next action with···

★ 1294 2026-09-19
visitran 开源

用大白话描述需求，自动完成数据清洗转换

Agentic & No-Code Data Transformations

★ 70 2026-08-09