great_expectations

用代码定义数据期望,自动验证并生成文档,让数据质量可控。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 1882 🐛 待处理 62 👀 关注 100
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 11922
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,可自行部署使用。

项目预览

great_expectations 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队fivetran
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型cleandata,data-engineering,data-profilers,data-profiling,data-quality,data-science,data-unit-tests,datacleaner,datacleaning,dataquality,dataunittest,eda,exploratory-analysis,exploratory-data-analysis,exploratorydataanalysis,mlops,pipeline,pipeline-debt,pipeline-testing,pipeline-tests
GitHub 星标★ 11922
上线时间2017-09-11 00:00:00
代码更新2026-11-09
仓库体积247.9 MB
本站数据更新2026-11-10
维护状态活跃
收录时间2026-08-09
浏览次数7

项目介绍

Great Expectations 是一个开源的数据质量工具,帮助数据团队定义、验证和文档化数据的期望。它解决了数据管道中数据质量不可控的问题,通过声明式的期望套件(Expectation Suite)来描述数据应满足的条件,如列值范围、唯一性、非空等。核心能力包括:自动生成数据文档(Data Docs)、提供丰富的内置期望(Expectations)、支持多种数据源(如 Pandas、Spark、SQL),并能与 Airflow、dbt 等编排工具集成。它让数据团队在数据进入下游前就能发现异常,确保数据可信。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 11922

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 10 分钟 部署方式:库/依赖 3 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 3.10 ~ 3.13(官方支持范围)
  • 官方推荐在虚拟环境中部署 GX Core
  • Python 3.14 及更高版本需通过 GX_PYTHON_EXPERIMENTAL 环境变量启用实验性支持
  • 可访问官网文档查看数据源与集成的兼容性说明

安装与启动步骤

  1. 1检查 Python 版本

    确认本机 Python 在 3.10 到 3.13 之间;高于 3.13 只能按实验性方式使用。

    python --version
  2. 2创建虚拟环境

    官方推荐在虚拟环境中部署 GX Core,避免与系统环境依赖冲突。

    python -m venv gx-venv
  3. 3激活虚拟环境

    激活后所有后续安装与运行都在该隔离环境中进行;Windows 可改用 gx-venv\Scripts\activate。

    source gx-venv/bin/activate

关键配置

配置项必填说明示例
GX_PYTHON_EXPERIMENTAL否在 Python 3.14 及以后版本上安装 great_expectations 时启用实验性支持1

如何确认成功

激活虚拟环境后执行 python --version,输出为 Python 3.10 至 3.13 即符合官方支持范围。

常见问题

Q:支持哪些 Python 版本?

A:GX Core 官方支持 Python 3.10 到 3.13;3.14 及更高版本属于实验性支持,需要额外设置环境变量。

Q:必须用虚拟环境吗?

A:README 中官方推荐在虚拟环境内部署 GX Core,建议按此方式操作以避免依赖冲突。

Q:怎么确认支持的数据源和集成?

A:README 指向官方 compatibility reference 页面,可查询 GX 支持的数据源与其他集成。

Q:想深入了解怎么上手?

A:README 推荐先阅读官网文档中的 Introduction to GX Core 章节。

注意事项

  • README 节选中未给出具体安装命令,本教程只覆盖其明确提到的 Python 版本要求与虚拟环境准备,安装步骤请以官网文档 Introduction to GX Core 为准。
  • Python 3.14 及以上的支持是实验性的,需在安装 great_expectations 时设置 GX_PYTHON_EXPERIMENTAL 环境变量。
  • 官网文档地址:https://docs.greatexpectations.io

核心亮点

  • 提供超过 100 种内置期望,覆盖常见数据质量检查,开箱即用
  • 自动生成可交互的数据文档,直观展示数据分布和质量,便于团队协作
  • 支持 Pandas、Spark、SQL 等多种数据源,适配不同技术栈

不足之处

  • 学习曲线较陡,期望套件的概念和配置需要一定时间掌握
  • 大数据量场景下性能可能成为瓶颈,需结合分布式计算优化

适用场景

  • 数据管道中在数据加载后、分析前进行质量校验
  • 数据迁移或集成时验证新旧数据一致性
  • 为数据团队提供数据质量报告,辅助数据治理

替代项目

dbt test、pandera、Soda Core

上一篇:DataDreamer

下一篇:lightly-studio

同类项目推荐

Awesome-AI-Papers 开源

一站式导航,快速找到 AI 前沿论文与代码实现

This repository is used to collect papers and code in the field of AI.

★ 100 2026-08-09
data-prep-kit 开源

一键清洗转换数据,让大模型训练更高效

Open source project for data preparation for GenAI applications

★ 969 2026-08-09
speech_dataset 开源

一站式获取中文语音识别训练数据,快速启动ASR实验

The dataset of Speech Recognition

★ 470 2026-08-09
Chatette 开源

用模板语法一键生成海量 Rasa 训练语料,告别手工标注。

A powerful dataset generator for Rasa NLU, inspired by Chatito

★ 315 2026-08-09
dbldatagen 开源

在 Databricks 上快速生成大规模仿真测试数据

Generate relevant synthetic data quickly for your projects. The Databricks Labs syn···

★ 507 2026-08-10
RSIBench-Data 开源

一键生成代码评测数据并在沙箱里跑分

Synthetic data generation, post-training, and E2B benchmark evaluation infrastructur···

★ 182 2026-09-12
nvzhuang 开源

1407 张女装参考图,检索即用做虚拟试穿

1407 张 AI 女装参考图集与虚拟试穿网站,支持中英检索、OpenAI Images / Gemini / 豆包及···

★ 2688 2026-11-01
ARC-Interactive-History-Dataset 开源

把人类解 ARC 谜题的每一步操作录成数据,供 AI 学习推理过程

The history files when recording human interaction while solving ARC tasks

★ 118 2026-09-21
TextAtlas 开源

让AI生成带密集文字的海报、封面更靠谱,评测更标准。

[ICML 2026]A Large-scale Dataset for training and evaluating model's ability on Den···

★ 94 2026-08-09