paas-data-ingestion

用Pulumi+Lambda+Snowflake搭建可重放的数据管道,告别数据不一致

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 13 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 70
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可自行部署使用,无收费计划。

项目预览

paas-data-ingestion 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队jacopotagliabue
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可自行部署使用,无收费计划。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言PLpgSQL
技术栈/模型dataops,dbt,mlops,severless,snowflake
GitHub 星标★ 70
上线时间2021-10-05 00:00:00
代码更新2022-01-21
仓库体积2.5 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

paas-data-ingestion 是一个数据接入基础设施项目,使用 Pulumi 管理基础设施即代码,结合 AWS Lambda 和 Snowflake 构建可扩展、完全可重放的数据摄取管道。它解决了数据管道中常见的重复执行、错误恢复和扩展性问题,通过将数据加载过程设计为幂等且可重放,确保数据一致性和可靠性。核心能力包括:基于 Pulumi 的云资源声明式管理,Lambda 无服务器计算实现弹性伸缩,以及 Snowflake 数据仓库的高效存储与查询。项目支持多种数据源接入,提供端到端的自动化流程,适合需要稳定、可审计数据管道的团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 70

技术标签

核心亮点

  • 完全可重放的数据摄取,支持错误恢复和幂等执行,保障数据一致性
  • 利用Pulumi实现基础设施即代码,云资源管理更清晰、可版本化
  • 基于Lambda无服务器架构,自动扩展且按需付费,降低运维成本

不足之处

  • 文档/社区待观察
  • 技术栈绑定AWS和Snowflake,迁移其他云或数仓成本高

适用场景

  • 需要构建稳定数据管道的中大型企业数据团队
  • 在AWS上运行且使用Snowflake作为数仓的数据工程场景
  • 对数据回放和审计有严格要求的金融、电商等行业

替代项目

Airflow、dbt、Kafka Connect

上一篇:crane

下一篇:fuseml

同类项目推荐

octopus 开源

一个网关管所有大模型,密钥、路由、计费全搞定

One Hub All LLMs For You | 为个人打造的 LLM API 聚合网关

★ 2741 2026-08-09
litellm 开源

一个网关接入所有大模型,告别接口乱、成本散、监控难

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in Ope···

★ 62874 2026-08-09
ServerlessLLM 开源

把大模型部署变成按需调用的无服务器服务,省钱又省心

Serverless LLM Serving for Everyone.

★ 717 2026-08-09
obelisk 开源

让AI代理记住每次会话,历史经验随时可查

Every past session, subagent, and workflow -- queryable by your agent, browsable by ···

★ 904 2026-08-09
vonage-node-sdk 开源

一行代码接入短信、语音和验证码,快速上线通信功能

Vonage API client for Node.js. API support for SMS, Voice, Text-to-Speech, Numbers, ···

★ 400 2026-08-09
PolyStrata 开源

一键在个人电脑跑多种大模型,本地开放兼容 API

Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5···

★ 898 2026-11-06
qwen.cpp 开源

用 C++ 在本地快速跑通 Qwen 模型,无需 Python 环境。

C++ implementation of Qwen-LM

★ 625 2026-08-09
Wax 开源

在 Apple 设备上实现亚毫秒级本地 AI 记忆检索,无需服务器

Shared Single-file memory layer for all your agents, sub mili-second RAG over text, ···

★ 807 2026-08-09
ggml 开源

轻量级 C++ 张量库,让大模型在本地设备流畅跑起来

Tensor library for machine learning

★ 15591 2026-08-09