项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-24 · 当前星标 ★ 1915
使用教程
环境要求
- Python 3.9 / 3.10 / 3.11 / 3.12
- 操作系统:macOS、Linux 或 Windows(WSL2)
- 可用的 pip 包管理环境
- 待分析的图像文件夹路径
安装与启动步骤
-
1安装 fastdup
从 PyPI 安装 fastdup 库,建议在虚拟环境中执行以避免依赖冲突。
pip install fastdup -
2初始化并运行分析
在 Python 中导入 fastdup,用 create 指定图像文件夹,再调用 run 开始扫描。
import fastdup fd = fastdup.create(input_dir="IMAGE_FOLDER/") fd.run() -
3查看可视化报告
运行结束后调用各画廊方法,生成重复、异常、聚类等可视化结果。
fd.vis.duplicates_gallery() fd.vis.outliers_gallery() fd.vis.component_gallery() fd.vis.stats_gallery() fd.vis.similarity_gallery() -
4一键删除重复图
调用 remove_duplicates 直接删除磁盘上的重复图像,默认相似度阈值 0.96。
import fastdup fastdup.remove_duplicates("IMAGE_FOLDER/") -
5预览删除结果
删除前先设置 dry_run=True 预览会被删除的文件,确认无误再去掉该参数。
import fastdup fastdup.remove_duplicates("IMAGE_FOLDER/", dry_run=True)
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
input_dir | 是 | 指定待分析的图像文件夹路径 | IMAGE_FOLDER/ |
distance | 否 | 控制 remove_duplicates 的相似度阈值 | 0.96 |
dry_run | 否 | 设为 True 时只预览不实际删除文件 | True |
如何确认成功
调用 fd.run() 完成后无报错,并能生成 duplicates_gallery 等可视化画廊,即表示运行成功。
常见问题
Q:需要 GPU 吗?
A:不需要,fastdup 无需 GPU 即可运行,CPU 环境即可完成百万级图像分析。
Q:remove_duplicates 会直接删除文件吗?
A:会。默认删除相似度大于 0.96 的重复图像,建议先用 dry_run=True 预览。
Q:支持哪些 Python 版本?
A:官方标识支持 Python 3.9、3.10、3.11、3.12。
Q:支持哪些操作系统?
A:支持 macOS、Linux,Windows 需在 WSL2 环境下使用。
注意事项
- 删除文件前务必使用 dry_run=True 预览,避免误删数据。
- 更多安装选项见官方文档 installation 页面。
- 可调整 distance 参数改变判重相似度阈值。
核心亮点
- 处理速度极快,百万级图像分钟级完成分析,无需 GPU
- 自动识别重复/近似重复图像、异常值、损坏文件,减少人工排查
- 提供可视化聚类和报告,直观展示数据分布与标签问题
不足之处
- 文档和社区支持相对有限,新手入门可能需摸索
- 对视频数据的分析功能可能不如图像完善
适用场景
- 训练视觉模型前,清洗大规模图像数据集
- 检测标注数据中的标签错误和噪声
- 快速评估数据集的多样性和分布,辅助数据采集决策
替代项目
Cleanlab、FiftyOne、Lightly
上一篇:tech.ml.dataset
下一篇:markup
同类项目推荐
mega-data-factory
开源
打造高质量多模态数据集,让基础模型训练更高效
Mega Scale Multimodal DataPipeline for SOTA Foundation Models
Awesome-Nano-Banana-images
开源
看别人用 Nano Banana 玩出什么花样,顺手下 15 万一致性数据
A curated collection of fun and creative examples generated with Nano Banana & Nano ···
huashu-bird-sticker
开源
一万多种鸟的贴纸和多语言名字,拿来就能用
花叔开源的全球鸟类贴纸库 · AI-generated stickers for 11,000+ bird species (AviList ···
VisioFirm
开源
输入文字就能自动框目标,标注提速好几倍
VisioFirm: Cross-Platform AI-assisted Annotation Tool for Computer Vision
OpenAnnotate3D
开源
用自然语言自动标注3D数据,省去人工画框
OpenAnnotate3D: Open-Vocabulary Auto-Labeling System for Multi-modal Data
PolData
开源
政治学数据一站查,省去到处找数据
A dataset with political datasets
Dialog_Corpus
开源
拿来即用的中英文对话语料,快速训练你的聊天机器人
用于训练中英文对话系统的语料库 Datasets for Training Chatbot System
AGIQA-3k-Database
开源
给AI生成图像质量打分,建立评估基准
[IEEE TCSVT2023] A Fine-grained Subjective Perception & Alignment Database for AI Ge···
attack_data
开源
一站式获取多种攻击数据集,快速训练安全模型
A repository of curated datasets from various attacks
