deequ

用写单元测试的方式给大数据做全量体检

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 585 🐛 待处理 63 👀 关注 64

GitHub ↗

GitHub 星标 ★ 3656

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，Apache 2.0 许可证

项目预览

项目数据

分类基础设施

开发团队awslabs

GitHubhttps://github.com/awslabs/deequ

定价模式🏷️完全免费

价格说明开源免费，Apache 2.0 许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Scala

技术栈/模型dataquality,scala,spark,unit-testing

GitHub 星标★ 3656

上线时间2018-08-07 00:00:00

代码更新2026-10-20

仓库体积72.0 MB

本站数据更新2026-11-05

维护状态较活跃

收录时间2026-09-21

浏览次数1

项目介绍

Deequ 是 AWS 开源、构建在 Apache Spark 之上的数据质量校验库，核心思路是把数据质量约束写成类似单元测试的断言，在超大规模数据集上批量扫描并给出量化结果。它解决的是数据管道中“数据悄悄变脏却无人发现”的问题：上游 schema 变更、字段缺失、数值越界、唯一性破坏等，传统做法靠人工写 SQL 抽查，既慢又难覆盖全量。Deequ 提供约束定义、指标计算、约束验证和异常检测四大能力，可对全量数据计算完整性、唯一性、分布、相关性等指标，并支持把结果写入指标仓库做趋势对比，从而发现数据随时间的漂移。它天然适配 Spark，能横向扩展到 TB 级数据，适合在 ETL/ELT 流程中作为质量门禁，也常用于数据仓库入仓前校验和机器学习特征表的健康监控。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 3656

技术标签

spark

使用教程

难度：进阶约 10 分钟部署方式：库/依赖 5 步

环境要求

Java 11（Deequ 2.1.0 及以后版本要求；2.0.x 版本要求 Java 8）
Apache Spark（需选择与 Deequ 构件后缀匹配的版本，如 Spark 3.5.x）
构建工具：Maven 或 sbt
Scala 2.12（较新 Spark 版本使用；Spark 2.2.x/2.3.x 使用 Scala 2.11）

安装与启动步骤

1确认 Spark 版本

先确认你的应用使用的 Apache Spark 版本，再据此挑选后缀匹配的 Deequ 构件，版本不匹配会导致运行失败。
2选择 Deequ 版本

从 Maven 中央仓库的 deequ 可用版本列表中，选择与 Spark 版本后缀一致的最新 Deequ 2.x 发布版。
3添加 Maven 依赖

在 Maven 项目的 pom.xml 中加入 deequ 依赖，artifactId 为 deequ，version 后缀需与 Spark 版本对应。
```
<dependency>
  <groupId>com.amazon.deequ</groupId>
  <artifactId>deequ</artifactId>
  <version>2.0.21-spark-3.5</version>
</dependency>
```
4或添加 sbt 依赖

如果使用 sbt 项目，在 build.sbt 中用 libraryDependencies 声明同版本依赖，效果与 Maven 一致。
```
libraryDependencies += "com.amazon.deequ" % "deequ" % "2.0.21-spark-3.5"
```
5在 Spark 作业中调用

重新加载依赖后，在基于 Spark 的 Scala 项目中导入 com.amazon.deequ 相关类，即可定义数据质量约束并执行校验。

关键配置

配置项	必填	说明	示例
`groupId`	是	Maven 坐标组织名，固定为 com.amazon.deequ	`com.amazon.deequ`
`artifactId`	是	Maven 坐标构件名，固定为 deequ	`deequ`
`version`	是	Deequ 版本，后缀必须与所用 Spark 版本匹配	`2.0.21-spark-3.5`