awesome-open-source-data-engineering
一张清单，搞定数据工程选型
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 626
使用教程
环境要求
- 无需环境
安装与启动步骤
-
1先看总览图
仓库顶部有一张年度全景图，把数据栈各层一次性铺开。
-
2按环节定位
存储、集成、计算、调度、元数据、可视化分开列，从你缺的那层进。
-
3顺着链接看项目
每条只有一句话简介加仓库链接，深度信息要去各自项目看。
-
4对照自己的栈
拿现有架构图逐层比一遍，最容易发现重叠与缺口。
如何确认成功
能按自己的数据栈逐层填出候选工具，并说清每层为什么选它
注意事项
- 它是链接清单，不含部署教程也不给选型建议。
- 分类沿用的是分析平台视角，做实时链路的同学会觉得偏批处理。
- 社区维护，收录有滞后，新项目未必在里面。
- 配套文章里有作者的取舍逻辑，比清单本身更有参考价值。
核心亮点
- 分类清晰，覆盖数据工程全链路，便于按需查找
- 社区维护，持续收录新工具，保持时效性
- 每个工具附有简介和链接，降低调研成本
不足之处
- 仅提供列表，缺乏工具对比和深度评测
- 文档/社区待观察
适用场景
- 数据平台架构设计时选型参考
- 数据工程师寻找特定环节的开源替代方案
- 技术调研和趋势分析
替代项目
awesome-data-engineering、data-engineering-howto、awesome-bigdata
上一篇：kubernetes-for-ml-engineers
下一篇：hopsworks
同类项目推荐
pi-anthropic-auth
开源
给 Pi 扩展一键接上 Anthropic 账号授权
Pi extension package for Anthropic OAuth compatibility
InsForge
开源
给编码智能体装上全套后端，一键从代码到上线。
The all-in-one, open-source backend platform for agentic coding. InsForge gives your···
openclaw-guardian
开源
给 OpenClaw 网关配个自动修复的看门狗，故障秒级自愈
️ Guardian watchdog for OpenClaw Gateway — auto-monitor, self-repair via doctor --···
tiktoken
开源
精准算 token、快速切文本，LLM 应用必备
tiktoken is a fast BPE tokeniser for use with OpenAI's models.
Sipp
开源
浏览器里直接跑 GGUF 大模型，零依赖 WebGPU 加速
AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···
octelium
开源
一套自托管平台，搞定 VPN、ZTNA、API 网关和内网穿透
A next-gen FOSS self-hosted unified zero trust secure access platform that can opera···
omniai
开源
一个 Ruby 库，统一多家 AI 接口，切换模型像换插件一样简单。
OmniAI standardizes the APIs for multiple AI providers like OpenAI's Chat GPT, Mistr···
TE-Speed-MiniMaxH3-OSS
开源
给 MiniMax-H3 视频生成提速，缓存加速让出片更快
MiniMax-H3超级缓存加速插件
ezdata
开源
连接 60+ 数据源，AI 自动查询、绘图、分析，让数据开口说话。
AI-native data platform: 60+ connectors, dlt-based ETL, DAG scheduling, per-source R···