airbyte

600+连接器,把任意数据源同步到仓库或AI应用

开源 🏷️基础免费,高级付费 ✅ 目前可打开 基础设施 🍴 复刻 5441 🐛 待处理 2767 👀 关注 179
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 22325
维护状态 活跃
是否开源 开源
定价模式 🏷️基础免费,高级付费 支持限时试用 · 开源自托管免费,Cloud版按用量付费,提供免费试用额度

项目预览

airbyte 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队airbytehq
定价模式🏷️基础免费,高级付费
价格说明开源自托管免费,Cloud版按用量付费,提供免费试用额度
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型bigquery,change-data-capture,data,data-analysis,data-collection,data-engineering,data-integration,data-pipeline,elt,etl,java,mssql,mysql,pipeline,postgresql,python,redshift,s3,self-hosted,snowflake
GitHub 星标★ 22325
上线时间2020-07-27 00:00:00
代码更新2026-11-06
仓库体积943.8 MB
本站数据更新2026-11-06
维护状态活跃
收录时间2026-09-22
浏览次数3

项目介绍

Airbyte 是一个开源数据集成平台,专注于 ELT 管道和 AI 应用的数据搬运。它解决的核心问题是:企业数据散落在 API、数据库、文件等数百种来源中,要同步到数据仓库、数据湖或 AI 应用时,传统方式需要为每个源和目标写定制脚本,维护成本极高。Airbyte 提供 600+ 预构建连接器,覆盖 SaaS API、关系型数据库、NoSQL、文件系统等,支持全量同步、增量同步和变更数据捕获(CDC)。用户可以通过低代码 Connector Builder 自定义连接器,也能用 Python CDK 开发。平台支持自托管和 Airbyte Cloud,提供调度、监控、告警、数据血缘等运维能力。近年来它扩展到了 AI 场景,为 RAG 和 AI Agent 提供结构化数据接入。核心能力包括:可扩展的连接器生态、CDC 实时同步、多云仓库目标支持、以及面向 AI 的数据管道编排。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-22 · 当前星标 ★ 22325

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 30 分钟 部署方式:Docker 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 可运行容器的部署环境(自托管部署方式,具体版本要求见官方快速开始文档)
  • 需要访问官方文档站点与连接器注册表的网络环境
  • 使用 Agent SDK 时需准备 Python 环境与 uv 包管理器

安装与启动步骤

  1. 1阅读部署文档

    README 未直接给出部署命令,需先打开官方快速开始文档,按其指引选择自托管部署或 Airbyte Cloud。

  2. 2试用在线 Demo

    不想立刻部署可先访问官方 demo 站点体验界面与连接器流程,确认是否符合需求。

  3. 3安装 Agent SDK

    若目标是让 AI Agent 读取业务数据,可用 uv 安装开源 Agent SDK,README 已给出该安装命令。

    uv pip install airbyte-agent-sdk
  4. 4创建自定义连接器

    600+ 预构建连接器之外,可用无代码 Connector Builder 或低代码 CDK 快速新建连接器。

  5. 5编排数据同步

    用 Airflow、Dagster、Kestra 的 Airbyte 集成,或直接调用 Airbyte API 来调度和监控同步任务。

如何确认成功

按官方部署文档完成首个连接创建并成功同步;执行 uv pip install airbyte-agent-sdk 无报错即安装成功。

常见问题

Q:不想自己部署怎么办?

A:可直接使用 Airbyte Cloud,或先访问官方 demo 站点体验后再决定;README 同时给出两条入门路径的文档入口。

Q:如何对接自定义数据源?

A:优先用无代码 Connector Builder,复杂场景用低代码 CDK 或 Python CDK 开发,README 给出了对应文档链接。

Q:怎么把同步任务接进现有调度?

A:README 明确支持 Airflow、Dagster、Kestra 三类编排工具,也可直接调用 Airbyte API 触发与监控同步。

Q:Agent SDK 能配合哪些框架?

A:README 说明其可与 pydantic-ai、LangChain、OpenAI Agents 和 FastMCP 配合,把连接器调用包装成 LLM 工具。

注意事项

  • README 只提供官方文档链接,未给出 docker run、docker compose 等具体部署命令,请以官方快速开始文档为准。
  • 自托管与 Cloud 两种方式二选一,Cloud 无需自行维护基础设施。
  • 完整连接器清单可查阅官方 connector registry 页面。
  • 开源许可信息见仓库 docs/project-overview/licenses 目录。

核心亮点

  • 连接器数量庞大且社区活跃,覆盖长尾数据源,减少自研成本
  • 支持 CDC 增量同步,能近实时捕获数据库变更,适合对时效敏感的场景
  • 提供 Connector Builder 低代码工具和 Python CDK,自定义连接器门槛低

不足之处

  • 自托管运维复杂度较高,资源占用大,小团队维护成本不低
  • 部分连接器质量参差不齐,社区贡献的连接器稳定性和文档有待提升

适用场景

  • 将 SaaS 工具(如 Salesforce、HubSpot)数据定时同步到 Snowflake 做分析
  • 从 MySQL/PostgreSQL 通过 CDC 实时同步到数据湖,支撑实时报表
  • 为 RAG 或 AI Agent 构建数据管道,把业务数据库和 API 数据灌入向量库

替代项目

Airflow、Meltano、Fivetran(商业)

上一篇:hermes-hudui

下一篇:traceroot

同类项目推荐

lmdeploy 开源

一键压缩部署大模型,推理快、显存省、吞吐高

LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

★ 8134 2026-08-09
llm-d 开源

在 Kubernetes 上榨干 GPU,让 LLM 推理飞起来

State of the art inference performance with modern accelerators on Kubernetes

★ 5158 2026-08-09
VectorChord 开源

在 Postgres 里实现大规模向量搜索,更快更省磁盘。

Scalable, fast, and disk-friendly vector search in Postgres, the successor of pgvect···

★ 1837 2026-08-09
truss-examples 开源

照着抄,把模型快速变成可调用的 HTTP 服务

Examples of models deployable with Truss

★ 234 2026-08-09
slotstream 开源

小内存 Mac 也能跑百 GB 大模型,从 SSD 流式加载

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streame···

★ 652 2026-11-06
LLMServingSim 开源

不买卡也能仿真 LLM 推理集群的吞吐与延迟

LLMServingSim 2.0: A Unified Simulator for Heterogeneous and Disaggregated LLM Servi···

★ 457 2026-09-16
PocketClaw 开源

插上U盘,秒变AI工作站,随处可用

PocketClaw(口袋龙虾)— 装在 U 盘里的随身 AI 助手

★ 64 2026-08-09
m365-copilot-proxy 开源

把已有 M365 Copilot 授权变成 OpenAI 兼容接口

OpenAI-compatible proxy for Microsoft 365 Copilot — use the Copilot licence you alr···

★ 167 2026-11-06
TemporalStore 开源

给 LLM 装上时间轴,上下文可回溯、可管控

Open-source Rust TemporalStore for LLM context management, temporal features, and ri···

★ 212 2026-09-01