项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 133
核心亮点
- 用 Python 实现，易于集成到现有数据流程或 CI 中
- 针对数据集合规场景，提供可读的检查报告
- 规则可扩展，方便按团队标准定制检查项
不足之处
- 早期项目，内置合规规则和覆盖范围有限
- 文档与社区生态尚不完善，长期维护待观察
适用场景
- 数据发布前自动扫描合规风险
- 数据流水线中作为合规门禁
- 模型训练前对数据集做合规初筛
替代项目
great_expectations、presidio
同类项目推荐
VQASynth
开源
把图片视频自动变成带空间推理的VQA训练数据
Compose multimodal datasets
curator
开源
把杂乱合成数据变成高质量训练集，提升模型后训练效果。
Synthetic data curation for post-training and structured data extraction
Awesome-Electrical-Grid-Mapping
开源
一站找齐全球电网地图与数据集，省去到处搜的麻烦
A curated dataset of global electrical grid maps, datasets and resources.
tech.ml.dataset
开源
用 Clojure 快速处理大数据集，像 pandas 一样高效
A Clojure high performance data processing system
QURAN-NLP
开源
让古兰经文本轻松接入NLP，快速构建伊斯兰AI应用
Quran, Hadith, Translations, Tafaseer, Corpus Linguistics. Everything for NLP
data-juicer
开源
一站式清洗加工大模型数据，让训练数据更干净高效
Data processing for and with foundation models! ➡️ ➡️
semhash
开源
一句话找出数据集里语义重复的样本，快速去重。
Fast Multimodal Semantic Deduplication & Filtering
CTGAN
开源
用 GAN 生成逼真表格数据，解决隐私与数据不足问题
Conditional GAN for generating synthetic tabular data.
greenmask
开源
一条命令把生产库脱敏成安全测试数据
Database anonymization and test data management