paas-data-ingestion

用Pulumi+Lambda+Snowflake搭建可重放的数据管道，告别数据不一致

paas-data-ingestion 是一个数据接入基础设施项目，使用 Pulumi 管理基础设施即代码，结合 AWS Lambda 和 Snowflake 构建可扩展、完全可重放的数据摄取管道。它解决了数据管道中常见的重复执行、错误恢复和扩展性问题，通过将数据加载过程设计为幂等且可重放，确保数据一致性和可靠性。核心能力包括：基于 Pulumi 的云资源声明式管理，Lambda 无服务器计算实现弹性伸缩，以及 Snowflake 数据仓库的高效存储与查询。项目支持多种数据源接入，提供端到端的自动化流程，适合需要稳定、可审计数据管道的团队。

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 70

维护状态低维护

是否开源是

定价模式 free

项目数据

分类基础设施

开发团队jacopotagliabue

所属国家

官网地址https://towardsdatascience.com/tagged/mlops-without-much-ops

GitHubhttps://github.com/jacopotagliabue/paas-data-ingestion

定价模式free

价格说明开源项目，MIT许可证，可自行部署使用，无收费计划。

访问状态

是否开源是

开源协议MIT

主要语言PLpgSQL

技术栈/模型dataops,dbt,mlops,severless,snowflake

GitHub 星标★ 70

30天Star增速

HF 下载量

上线时间2021-10-05 00:00:00

最近更新2026-03-29 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数6

使用教程

核心亮点

完全可重放的数据摄取，支持错误恢复和幂等执行，保障数据一致性
利用Pulumi实现基础设施即代码，云资源管理更清晰、可版本化
基于Lambda无服务器架构，自动扩展且按需付费，降低运维成本

不足之处

文档/社区待观察
技术栈绑定AWS和Snowflake，迁移其他云或数仓成本高

适用场景

需要构建稳定数据管道的中大型企业数据团队
在AWS上运行且使用Snowflake作为数仓的数据工程场景
对数据回放和审计有严格要求的金融、电商等行业

替代项目

Airflow、dbt、Kafka Connect

项目介绍

paas-data-ingestion 是基础设施领域的开源项目，由 jacopotagliabue 开发，2021 年首次发布。

它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 70。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-03-29。MIT许可证，可自行部署使用，无收费计划。

它主要面向的使用场景是：需要构建稳定数据管道的中大型企业数据团队。同类可对比的替代方案包括 Airflow、dbt、Kafka Connect。

上一篇：crane

下一篇：fuseml