cleanvision

扫一眼图像数据集,自动揪出模糊、重复等脏数据

CleanVision 是一个用于图像数据集质量检测的开源 Python 库,旨在自动发现图像数据中的各类问题,帮助数据科学家和机器学习工程师实践以数据为中心的计算机视觉。它能够高效扫描大规模图像数据集,识别出模糊、过暗、过亮、重复、近似重复、损坏、异常宽高比、低信息量等常见数据问题,并生成可视化报告和详细的问题清单。其核心能力包括基于高效嵌入的近似重复检测、多种质量指标评估,以及直观的 Jupyter Notebook 集成,让用户能快速定位并清洗数据,从而提升模型训练的准确性和鲁棒性。该工具特别适合在训练前进行数据质量把关,减少脏数据对模型性能的负面影响。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1201
维护状态 低维护
是否开源
定价模式 free

项目数据

分类图像生成
开发团队cleanlab
所属国家
官网地址
定价模式free
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型computer-vision,data-centric-ai,data-exploration,data-profiling,data-quality,data-science,data-validation,deep-learning,exploratory-data-analysis,image-analysis,image-classification,image-generation,image-quality,image-segmentation
GitHub 星标★ 1201
30天Star增速
HF 下载量
上线时间2022-05-26 00:00:00
最近更新2026-09-23 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • 已安装 Python 环境与 pip(README 未指定具体版本)
  • 可运行 python 脚本或 Jupyter Notebook 的环境
  • 一个包含图像文件的本地文件夹路径(README 中写作 FOLDER_WITH_IMAGES/)
  • 如需下载官方示例数据集,需要 wget 命令(可选)

安装与启动步骤

  1. 1安装 CleanVision

    README 的 Installation 只给出一条命令,直接在终端执行即可完成安装。

    pip install cleanvision
  2. 2下载示例数据集

    这一步是可选的。README 说明也可以直接使用你自己已有的图片集合。

    wget -nc 'https://cleanlab-public.s3.amazonaws.com/CleanVision/image_files.zip'
  3. 3初始化 Imagelab

    指定包含图像文件的文件夹路径,创建 Imagelab 对象。注意路径要和实际图片目录一致。

    from cleanvision import Imagelab
    
    # Specify path to folder containing the image files in your dataset
    imagelab = Imagelab(data_path="FOLDER_WITH_IMAGES/")
  4. 4自动检测数据问题

    调用 find_issues 自动检查预定义的一组问题(模糊、过暗、过曝、近似重复等)。

    imagelab.find_issues()
  5. 5生成问题报告

    调用 report 输出数据集中发现的问题清单和报告,用于定位需要清洗的图片。

    imagelab.report()
  6. 6只检测指定问题

    通过 issue_types 字典限定要检测的问题类型,report 时也传入相同的参数。

    issue_types = {"dark": {}, "blurry": {}}
    
    imagelab.find_issues(issue_types=issue_types)
    
    # Produce a report with only the specified issue_types
    imagelab.report(issue_types=issue_types)

关键配置

配置项必填说明示例
data_path指向包含数据集中图像文件的文件夹路径FOLDER_WITH_IMAGES/
issue_types限定只检测指定类型的问题;不传则检测预定义的全部问题{"dark": {}, "blurry": {}}

如何确认成功

运行 imagelab.report() 后输出问题报告,列出检测到的问题类型及对应图片清单,即为成功。

常见问题

Q:必须下载官方示例数据集吗?

A:不必须。README 标注该步骤为 optional,你可以把 data_path 换成自己任意一个图像文件夹的路径。

Q:只想检查某些特定问题怎么办?

A:构造 issue_types 字典(如 {"dark": {}, "blurry": {}})传入 imagelab.find_issues(),并在 report() 时传入相同参数。

Q:CleanVision 能发现哪些问题?

A:README 提到模糊、过暗/过曝、(近似)重复等;find_issues 默认会检查一份预定义的问题列表,完整清单见官方文档。

Q:下载的示例数据能直接使用吗?

A:下载得到的是 image_files.zip 压缩包,README 未给出解压命令,需先解压再将其中的图片目录作为 data_path。

注意事项

  • README 未指定 Python 版本要求,安装前请确认 pip 可用。
  • 示例数据集仅用于快速体验,实际使用时替换为自己的图像文件夹路径。
  • report() 与 find_issues() 传入的 issue_types 应保持一致,否则报告范围可能不符预期。
  • 更多用法与教程见 README 中给出的 Tutorial 文档链接。

核心亮点

  • 自动检测多种问题类型,如模糊、过暗、重复、损坏等,覆盖全面
  • 基于高效嵌入的近似重复检测,能发现视觉相似但不完全相同的图片
  • 提供可视化报告和 Jupyter 集成,快速定位问题样本,操作直观

不足之处

  • 文档/社区待观察
  • 对超大数据集的处理性能可能受限于嵌入计算资源

适用场景

  • 训练前清洗图像分类、检测等数据集
  • 大规模图像数据集的自动化质量审计
  • 数据-centric AI 工作流中的快速数据体检

替代项目

Great Expectations、TensorFlow Data Validation、Pandas Profiling

项目介绍

cleanvision 是数据集领域的开源项目,由 cleanlab 开发,2022 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,201)位列前 30%,在数据集分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:训练前清洗图像分类、检测等数据集。同类可对比的替代方案包括 Great Expectations、TensorFlow Data Validation、Pandas Profiling。

上一篇:KG-MM-Survey

下一篇:ICASSP-2023-24-Papers

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10528 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1645 2026-09-20
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3398 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09