cleanvision

扫一眼图像数据集,自动揪出模糊、重复等脏数据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 87 🐛 待处理 40 👀 关注 16
GitHub ↗
GitHub 星标 ★ 1212
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。

项目预览

cleanvision 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队cleanlab
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型computer-vision,data-centric-ai,data-exploration,data-profiling,data-quality,data-science,data-validation,deep-learning,exploratory-data-analysis,image-analysis,image-classification,image-generation,image-quality,image-segmentation
GitHub 星标★ 1212
上线时间2022-05-26 00:00:00
代码更新2026-01-08
仓库体积2.4 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

CleanVision 是一个用于图像数据集质量检测的开源 Python 库,旨在自动发现图像数据中的各类问题,帮助数据科学家和机器学习工程师实践以数据为中心的计算机视觉。它能够高效扫描大规模图像数据集,识别出模糊、过暗、过亮、重复、近似重复、损坏、异常宽高比、低信息量等常见数据问题,并生成可视化报告和详细的问题清单。其核心能力包括基于高效嵌入的近似重复检测、多种质量指标评估,以及直观的 Jupyter Notebook 集成,让用户能快速定位并清洗数据,从而提升模型训练的准确性和鲁棒性。该工具特别适合在训练前进行数据质量把关,减少脏数据对模型性能的负面影响。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1212

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • 已安装 Python 环境与 pip(README 未指定具体版本)
  • 可运行 python 脚本或 Jupyter Notebook 的环境
  • 一个包含图像文件的本地文件夹路径(README 中写作 FOLDER_WITH_IMAGES/)
  • 如需下载官方示例数据集,需要 wget 命令(可选)

安装与启动步骤

  1. 1安装 CleanVision

    README 的 Installation 只给出一条命令,直接在终端执行即可完成安装。

    pip install cleanvision
  2. 2下载示例数据集

    这一步是可选的。README 说明也可以直接使用你自己已有的图片集合。

    wget -nc 'https://cleanlab-public.s3.amazonaws.com/CleanVision/image_files.zip'
  3. 3初始化 Imagelab

    指定包含图像文件的文件夹路径,创建 Imagelab 对象。注意路径要和实际图片目录一致。

    from cleanvision import Imagelab
    
    # Specify path to folder containing the image files in your dataset
    imagelab = Imagelab(data_path="FOLDER_WITH_IMAGES/")
  4. 4自动检测数据问题

    调用 find_issues 自动检查预定义的一组问题(模糊、过暗、过曝、近似重复等)。

    imagelab.find_issues()
  5. 5生成问题报告

    调用 report 输出数据集中发现的问题清单和报告,用于定位需要清洗的图片。

    imagelab.report()
  6. 6只检测指定问题

    通过 issue_types 字典限定要检测的问题类型,report 时也传入相同的参数。

    issue_types = {"dark": {}, "blurry": {}}
    
    imagelab.find_issues(issue_types=issue_types)
    
    # Produce a report with only the specified issue_types
    imagelab.report(issue_types=issue_types)

关键配置

配置项必填说明示例
data_path是指向包含数据集中图像文件的文件夹路径FOLDER_WITH_IMAGES/
issue_types否限定只检测指定类型的问题;不传则检测预定义的全部问题{"dark": {}, "blurry": {}}

如何确认成功

运行 imagelab.report() 后输出问题报告,列出检测到的问题类型及对应图片清单,即为成功。

常见问题

Q:必须下载官方示例数据集吗?

A:不必须。README 标注该步骤为 optional,你可以把 data_path 换成自己任意一个图像文件夹的路径。

Q:只想检查某些特定问题怎么办?

A:构造 issue_types 字典(如 {"dark": {}, "blurry": {}})传入 imagelab.find_issues(),并在 report() 时传入相同参数。

Q:CleanVision 能发现哪些问题?

A:README 提到模糊、过暗/过曝、(近似)重复等;find_issues 默认会检查一份预定义的问题列表,完整清单见官方文档。

Q:下载的示例数据能直接使用吗?

A:下载得到的是 image_files.zip 压缩包,README 未给出解压命令,需先解压再将其中的图片目录作为 data_path。

注意事项

  • README 未指定 Python 版本要求,安装前请确认 pip 可用。
  • 示例数据集仅用于快速体验,实际使用时替换为自己的图像文件夹路径。
  • report() 与 find_issues() 传入的 issue_types 应保持一致,否则报告范围可能不符预期。
  • 更多用法与教程见 README 中给出的 Tutorial 文档链接。

核心亮点

  • 自动检测多种问题类型,如模糊、过暗、重复、损坏等,覆盖全面
  • 基于高效嵌入的近似重复检测,能发现视觉相似但不完全相同的图片
  • 提供可视化报告和 Jupyter 集成,快速定位问题样本,操作直观

不足之处

  • 文档/社区待观察
  • 对超大数据集的处理性能可能受限于嵌入计算资源

适用场景

  • 训练前清洗图像分类、检测等数据集
  • 大规模图像数据集的自动化质量审计
  • 数据-centric AI 工作流中的快速数据体检

替代项目

Great Expectations、TensorFlow Data Validation、Pandas Profiling

上一篇:KG-MM-Survey

下一篇:ICASSP-2023-24-Papers

同类项目推荐

greenmask 开源

一条命令把生产库脱敏成安全测试数据

Database anonymization and test data management

★ 1803 2026-08-10
voice-dataset-creation 开源

帮原住民社区自主打造语音数据集,守护语言并喂给AI

Community-controlled voice data collection for language preservation and AI developm···

★ 73 2026-08-09
dataset 开源

给摩洛哥口语配英语翻译,低资源翻译有数据可用

darija <-> english dataset

★ 382 2026-09-21
PLTranslationEmpirical 开源

看穿 LLM 代码翻译的坑,用数据帮你避雷

Artifact repository for the paper "Lost in Translation: A Study of Bugs Introduced b···

★ 54 2026-08-09
imbalanced-dataset-sampler 开源

一行替换采样器,让少数类不再被模型忽略

A (PyTorch) imbalanced dataset sampler for oversampling low frequent classes and und···

★ 2325 2026-10-19
sdg_hub 开源

用流水线批量造 LLM 训练数据,省去手写脚本

Synthetic Data Generation Toolkit for LLMs

★ 170 2026-09-12
awesome-public-real-time-dataset··· 开源

一站找齐可公开访问的实时数据源,做流处理演示不再缺素材

A list of publicly available datasets with real-time data maintained by the team at ···

★ 2971 2026-11-02
VPSCI-Dataset 开源

真实车人冲突场景数据,直接喂给自动驾驶安全模型

VPSCI(Vehicle–Pedestrian Safety-Critical Interaction)Dataset

★ 391 2026-09-21