
cleanvision
扫一眼图像数据集,自动揪出模糊、重复等脏数据
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1212
使用教程
环境要求
- 已安装 Python 环境与 pip(README 未指定具体版本)
- 可运行 python 脚本或 Jupyter Notebook 的环境
- 一个包含图像文件的本地文件夹路径(README 中写作 FOLDER_WITH_IMAGES/)
- 如需下载官方示例数据集,需要 wget 命令(可选)
安装与启动步骤
-
1安装 CleanVision
README 的 Installation 只给出一条命令,直接在终端执行即可完成安装。
pip install cleanvision -
2下载示例数据集
这一步是可选的。README 说明也可以直接使用你自己已有的图片集合。
wget -nc 'https://cleanlab-public.s3.amazonaws.com/CleanVision/image_files.zip' -
3初始化 Imagelab
指定包含图像文件的文件夹路径,创建 Imagelab 对象。注意路径要和实际图片目录一致。
from cleanvision import Imagelab # Specify path to folder containing the image files in your dataset imagelab = Imagelab(data_path="FOLDER_WITH_IMAGES/") -
4自动检测数据问题
调用 find_issues 自动检查预定义的一组问题(模糊、过暗、过曝、近似重复等)。
imagelab.find_issues() -
5生成问题报告
调用 report 输出数据集中发现的问题清单和报告,用于定位需要清洗的图片。
imagelab.report() -
6只检测指定问题
通过 issue_types 字典限定要检测的问题类型,report 时也传入相同的参数。
issue_types = {"dark": {}, "blurry": {}} imagelab.find_issues(issue_types=issue_types) # Produce a report with only the specified issue_types imagelab.report(issue_types=issue_types)
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
data_path | 是 | 指向包含数据集中图像文件的文件夹路径 | FOLDER_WITH_IMAGES/ |
issue_types | 否 | 限定只检测指定类型的问题;不传则检测预定义的全部问题 | {"dark": {}, "blurry": {}} |
如何确认成功
运行 imagelab.report() 后输出问题报告,列出检测到的问题类型及对应图片清单,即为成功。
常见问题
Q:必须下载官方示例数据集吗?
A:不必须。README 标注该步骤为 optional,你可以把 data_path 换成自己任意一个图像文件夹的路径。
Q:只想检查某些特定问题怎么办?
A:构造 issue_types 字典(如 {"dark": {}, "blurry": {}})传入 imagelab.find_issues(),并在 report() 时传入相同参数。
Q:CleanVision 能发现哪些问题?
A:README 提到模糊、过暗/过曝、(近似)重复等;find_issues 默认会检查一份预定义的问题列表,完整清单见官方文档。
Q:下载的示例数据能直接使用吗?
A:下载得到的是 image_files.zip 压缩包,README 未给出解压命令,需先解压再将其中的图片目录作为 data_path。
注意事项
- README 未指定 Python 版本要求,安装前请确认 pip 可用。
- 示例数据集仅用于快速体验,实际使用时替换为自己的图像文件夹路径。
- report() 与 find_issues() 传入的 issue_types 应保持一致,否则报告范围可能不符预期。
- 更多用法与教程见 README 中给出的 Tutorial 文档链接。
核心亮点
- 自动检测多种问题类型,如模糊、过暗、重复、损坏等,覆盖全面
- 基于高效嵌入的近似重复检测,能发现视觉相似但不完全相同的图片
- 提供可视化报告和 Jupyter 集成,快速定位问题样本,操作直观
不足之处
- 文档/社区待观察
- 对超大数据集的处理性能可能受限于嵌入计算资源
适用场景
- 训练前清洗图像分类、检测等数据集
- 大规模图像数据集的自动化质量审计
- 数据-centric AI 工作流中的快速数据体检
替代项目
Great Expectations、TensorFlow Data Validation、Pandas Profiling
上一篇:KG-MM-Survey
同类项目推荐
greenmask
开源
一条命令把生产库脱敏成安全测试数据
Database anonymization and test data management
voice-dataset-creation
开源
帮原住民社区自主打造语音数据集,守护语言并喂给AI
Community-controlled voice data collection for language preservation and AI developm···
dataset
开源
给摩洛哥口语配英语翻译,低资源翻译有数据可用
darija <-> english dataset
CompBioDatasetsForMachineLearnin···
开源
生物医学机器学习数据集一网打尽,找数据不再翻论文
A Curated List of Computational Biology Datasets Suitable for Machine Learning
PLTranslationEmpirical
开源
看穿 LLM 代码翻译的坑,用数据帮你避雷
Artifact repository for the paper "Lost in Translation: A Study of Bugs Introduced b···
imbalanced-dataset-sampler
开源
一行替换采样器,让少数类不再被模型忽略
A (PyTorch) imbalanced dataset sampler for oversampling low frequent classes and und···
sdg_hub
开源
用流水线批量造 LLM 训练数据,省去手写脚本
Synthetic Data Generation Toolkit for LLMs
awesome-public-real-time-dataset···
开源
一站找齐可公开访问的实时数据源,做流处理演示不再缺素材
A list of publicly available datasets with real-time data maintained by the team at ···
VPSCI-Dataset
开源
真实车人冲突场景数据,直接喂给自动驾驶安全模型
VPSCI(Vehicle–Pedestrian Safety-Critical Interaction)Dataset