airflow

定时任务写成代码全自动跑,睡醒数据已备好

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 18323 🐛 待处理 1842 👀 关注 784
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 47420
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 Apache Airflow 为开源项目,采用 Apache-2.0 许可证,可免费使用和部署。

项目预览

airflow 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队apache
定价模式🏷️完全免费
价格说明Apache Airflow 为开源项目,采用 Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型airflow,apache,apache-airflow,automation,dag,data-engineering,data-integration,data-orchestrator,data-pipelines,data-science,elt,etl,machine-learning,mlops,orchestration,python,scheduler,workflow,workflow-engine,workflow-orchestration
GitHub 星标★ 47420
上线时间2015-04-13 00:00:00
代码更新2026-11-08
仓库体积790.2 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数12

项目介绍

Apache 基金会旗下的工作流编排平台,支持以代码方式(Python)编程式地定义、调度与监控数据管道。凭借丰富的算子生态、可靠的调度机制和活跃的社区,Airflow 已成为数据工程领域事实上的标准工具,被广泛应用于 ETL、批处理及机器学习任务的定时编排。DAG 可视化界面也让任务依赖一目了然。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 47420

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 10 分钟 部署方式:库/依赖 4 步

环境要求

  • Python 环境,且版本需与所选 constraints 文件名对应(示例为 3.10)
  • pip 或 uv(README 明确目前官方仅支持这两种安装方式)
  • 能访问 PyPI 与 raw.githubusercontent.com 下载依赖和约束文件

安装与启动步骤

  1. 1确认 Python 版本

    constraints 文件按 Python 主次版本区分,示例 URL 对应 3.10,先确认本机 Python 版本再选文件。

    python --version
  2. 2安装 Airflow

    README 强调直接 pip install 可能装出不可用环境,必须带上官方 constraints 文件。

    pip install 'apache-airflow==3.3.0' --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.0/constraints-3.10.txt"
  3. 3按需安装 extras

    需要 postgres、google 等额外组件时用 extras 语法安装,版本与约束文件保持一致。

    pip install 'apache-airflow[postgres,google]==3.3.0' --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.3.0/constraints-3.10.txt"
  4. 4查看后续官方文档

    README 未给出启动 Web UI、初始化数据库等命令,本地开发环境安装请看仓库 INSTALLING.md。

关键配置

配置项必填说明示例
Airflow 版本/分支 tag是决定 constraints 文件路径,需与实际安装版本一致3.3.0
Python 主次版本是constraints 文件名后缀,需与本机 Python 版本一致3.10
constraint 约束文件 URL是官方维护的“已知可用”依赖组合,保证可重复安装https://raw.githubusercontent.com/apache/airflow/constraints
extras否按需追加的组件,如 postgres、googlepostgres,google

如何确认成功

安装过程无报错即视为成功;README 未提供启动验证命令,启动与验证方式请按官网 installation/start 文档操作。

常见问题

Q:为什么不能直接 pip install apache-airflow?

A:README 说明 Airflow 兼具库与应用属性,依赖保持开放,不加 constraints 可能装出不可用环境,因此务必带 --constraint。

Q:可以用 Poetry 或 pip-tools 安装吗?

A:README 明确目前官方只支持 pip 和 uv;若使用其他工具,需自行把约束文件转换为其格式和工作流。

Q:怎么安装 postgres、google 等额外组件?

A:使用 extras 语法,如 apache-airflow[postgres,google],并保持版本号与约束文件 URL 一致。

Q:完整的本地开发环境安装步骤在哪里?

A:见仓库中的 INSTALLING.md,以及官网的 installing、start 和 tutorial 文档。

Q:constraints URL 里的 3.3.0 和 3.10 分别是什么?

A:前者是 Airflow 的版本 tag/分支,后者是 Python 主次版本,两者都必须与实际环境匹配。

注意事项

  • 本文命令全部来自 README 的 PyPI 安装章节,README 未给出启动 Web UI、初始化数据库等命令,请勿臆造。
  • constraints 文件按 Python 主次版本分别维护,选错文件会导致依赖不兼容。
  • README 提到有时直接安装会失败或产生不可用安装,遇到问题优先检查约束文件 URL 是否正确。
  • provider(如各类 operators)安装方式见官网 providers 文档。

核心亮点

  • 基于Python的DAG编程模型,支持复杂工作流的有向无环图定义,灵活性和可扩展性强
  • 丰富的调度与重试机制,支持cron表达式、依赖触发及失败重试,适合生产级任务编排
  • 成熟的生态与社区,提供大量内置操作符(如AWS、GCP、Kubernetes),且与数据工程工具集成广泛

不足之处

  • 配置和部署复杂度较高,尤其在生产环境需要管理调度器、数据库等组件
  • 任务调度延迟在秒级,不适合毫秒级实时工作流
  • 文档/社区待观察

适用场景

  • 企业级数据管道编排,如ETL/ELT流程的定时调度与监控
  • 跨系统任务依赖管理,如数据仓库、机器学习训练与模型部署的串联
  • 需要可视化运维和审计日志的复杂工作流平台

替代项目

Prefect、Luigi、Dagster

上一篇:browser-use

下一篇:argo-workflows

同类项目推荐

Chaterm 开源

用自然语言操作终端,部署排障一句话搞定

Open source AI terminal for cloud and infrastructure management, enabling you to dep···

★ 3107 2026-10-31
deer-workflow 开源

用 TypeScript 编排图,灵活接入任意 AI Agent,搞定复杂工作流。

An open-source graph engineering runtime that keeps orchestration in TypeScript and ···

★ 556 2026-08-09
goodboy 开源

让 AI 记住你的习惯,告别重复解释

Agentic development environment for your coding agents, built in public

★ 119 2026-08-09
AIHOT 开源

换掉信源和规则,自动生成你的行业热点日报站

一个自己找热点、自己写日报的网站框架。把信源和精选标准换成你的,它就是你的行业热点站···

★ 9756 2026-10-18
dailycheckin 开源

一个脚本搞定十几个平台的每日自动签到

基于「Docker」/「青龙面板」/「群晖」的每日签到脚本(支持多账号)签到列表: |爱奇艺|···

★ 8746 2026-08-09
ShortGPT 开源

输入主题,自动生成短视频,批量发布到 TikTok 和 YouTube Shorts。

ShortGPT - Experimental AI framework for youtube shorts / tiktok channel automation

★ 8130 2026-08-09
libretto 开源

用 AI 让浏览器自动化不再一改页面就崩

The AI toolkit for building reliable browser automations

★ 908 2026-09-18
invisible_selenium 开源

改一行 import,Selenium 脚本秒变反检测 Firefox

Selenium that anti-bots cannot see, so no captchas: same API, anti-detect stealth he···

★ 270 2026-10-03
subforge 开源

一条命令搞定视频转写、翻译到压制字幕

Rust CLI for AI subtitle workflows: transcribe, segment, translate, evaluate, and bu···

★ 103 2026-09-15