etl
本站收录 26 个带「etl」标签的 AI 开源项目
pathwayPathway 是一个用 Python 编写的开源 ETL 与流处理框架，核心定位是把批处理和流处理统一到同一套代码里。它解决的是传统数据管道中批与流两套系统割★ 62,215
airflowApache 基金会旗下的工作流编排平台，支持以代码方式（Python）编程式地定义、调度与监控数据管道。凭借丰富的算子生态、可靠的调度机制和活跃的社区，Air★ 47,011
kestraKestra 是一个面向关键任务应用的事件驱动编排与调度平台。它解决了复杂工作流中数据管道、任务调度和自动化流程难以统一管理的问题。核心能力包括：基于 YAML★ 28,501
airbyteAirbyte 是一个开源数据集成平台，专注于 ELT 管道和 AI 应用的数据搬运。它解决的核心问题是：企业数据散落在 API、数据库、文件等数百种来源中，要★ 22,140
dagsterDagster 是一个面向数据资产的开源编排平台，专注于数据开发、生产和观测的全流程管理。它解决了传统数据管道工具在开发、部署和监控中割裂的问题，提供统一的开发★ 16,222
cocoindexcocoindex 是一个面向长时程智能体的增量计算引擎，用 Rust 编写。它解决的是智能体在长时间运行中需要持续感知和利用不断变化的数据（如代码库、文档、用★ 11,630
docetlDocETL 是一个面向智能体 LLM 的数据处理与 ETL 系统。它解决传统 ETL 管道无法灵活处理非结构化数据（如文本、日志、文档）的痛点，将大语言模型作★ 4,110
maestroMaestro 是 Netflix 开源的工作流编排器，用于管理和调度数据管道及机器学习工作流。它解决了大规模工作流编排中常见的依赖复杂、资源利用率低、运维困难★ 3,842
hamiltonHamilton 是一个帮助数据科学家和工程师定义可测试、模块化、自文档化数据流的开源框架。它通过纯 Python 函数声明数据转换逻辑，自动构建数据流图，并生★ 2,601
instill-coreInstill Core 是一个全栈式 AI 基础设施工具，专注于数据、模型和流水线的编排，旨在简化构建 AI 原生应用的各个环节。它解决了 AI 开发中数据预★ 2,321
extractousextractous 是一个用 Rust 编写的高性能非结构化数据提取库，旨在解决从 PDF、Word、HTML、图片等各类文件中快速提取文本和元数据的问题。它★ 1,780
OpenContractsOpenContracts 是一个面向构建者和开发者的开源文档智能平台，定位为智能体世界的文档管理系统（DMS）。它解决的是非结构化文档（如 PDF、扫描件）在★ 1,492
NeumAINeumAI 是一个专注于大规模向量嵌入创建与同步的框架，旨在解决 RAG（检索增强生成）应用中数据管道复杂、难以维护的痛点。它提供了一套声明式配置，让开发者能★ 869
wexflowWexFlow 是一个基于 C#/.NET 的开源工作流自动化引擎，用于把重复性的业务流程、数据处理和系统集成任务编排成可执行的工作流。它通过 XML 定义工作★ 842
onepanelOnePanel 是一个开源的端到端计算机视觉平台，旨在统一标签标注、模型构建、训练、调优、部署和自动化流程。它解决了计算机视觉项目从数据标注到模型上线的全生命★ 733
awesome-open-source-data-engineering这是一个精选开源数据工程工具列表，旨在帮助数据工程师和分析平台构建者快速找到合适的开源组件。项目按功能分类整理了数据摄取、存储、处理、查询、调度、可视化等环节的★ 604
Comprehensive-Data-Science-AI-Project-Portfolio这是一个精选的AI、数据工程和DevOps项目合集，包含真实世界应用、先进技术和教程，面向数据科学和机器学习的学习者与实践者。项目以Jupyter Notebo★ 351
extractorextractor 是一个基于 TypeScript 的开源工具，利用大语言模型（LLM）从网页中稳健地提取结构化数据。它解决了传统网页爬虫依赖固定选择器、易受★ 321
ezdataezdata 是一个 AI 原生的数据平台，旨在解决数据接入、处理、分析和 AI 问答之间的割裂问题。它内置 60 多个数据连接器，基于 dlt 实现 ETL ★ 292
data-engineeringdata-engineering 是一个面向现代数据栈构建与工作流编排的开源项目，旨在帮助数据团队为分析和机器学习应用打造高质量的数据管道。它提供了一套结构化的★ 252
flowcraftflowcraft 是一个轻量级的工作流引擎，专为智能体（Agent）和 LLM 编排设计。它用 TypeScript 编写，采用声明式 DAG（有向无环图）模★ 210
open-extractopen-extract 是一个面向 AI 代理的结构化数据提取工具，旨在让代理通过一次工具调用，从文档或网页中搜索特定数据，并以 JSON 或 Markdow★ 189
dcs-coredcs-core 是一个开源的 Python 数据质量监控框架，旨在帮助数据团队持续跟踪和验证数据的准确性、完整性和一致性。它解决了数据管道中因数据异常（如缺失★ 179
garmin-health-data这是一个用Python编写的命令行工具，用于从Garmin Connect下载个人健康数据并存储到本地SQLite数据库，方便用户进行离线分析和数据自主掌控。它★ 121
beneathBeneath 是一个基于 Go 语言构建的无服务器实时数据平台，旨在简化数据管道的搭建与运维。它解决了传统数据基础设施中服务器管理、扩展性和实时处理复杂的问题★ 84
visitranvisitran 是一个面向办公效率场景的 Python 开源项目，主打“智能体驱动”和“无代码”的数据转换能力。它解决的核心问题是：非技术人员或业务分析师在面★ 69