fastdup

环境要求

• Python 3.9 / 3.10 / 3.11 / 3.12
• 操作系统：macOS、Linux 或 Windows(WSL2)
• 可用的 pip 包管理环境
• 待分析的图像文件夹路径

安装与启动步骤

1. 1安装 fastdup

   从 PyPI 安装 fastdup 库，建议在虚拟环境中执行以避免依赖冲突。

   pip install fastdup

   复制

2. 2初始化并运行分析

   在 Python 中导入 fastdup，用 create 指定图像文件夹，再调用 run 开始扫描。

   import fastdup
   
   fd = fastdup.create(input_dir="IMAGE_FOLDER/")
   fd.run()

   复制

3. 3查看可视化报告

   运行结束后调用各画廊方法，生成重复、异常、聚类等可视化结果。

   fd.vis.duplicates_gallery()
   fd.vis.outliers_gallery()
   fd.vis.component_gallery()
   fd.vis.stats_gallery()
   fd.vis.similarity_gallery()

   复制

4. 4一键删除重复图

   调用 remove_duplicates 直接删除磁盘上的重复图像，默认相似度阈值 0.96。

   import fastdup
   fastdup.remove_duplicates("IMAGE_FOLDER/")

   复制

5. 5预览删除结果

   删除前先设置 dry_run=True 预览会被删除的文件，确认无误再去掉该参数。

   import fastdup
   fastdup.remove_duplicates("IMAGE_FOLDER/", dry_run=True)

   复制

关键配置

如何确认成功

调用 fd.run() 完成后无报错，并能生成 duplicates_gallery 等可视化画廊，即表示运行成功。

常见问题

注意事项

• 删除文件前务必使用 dry_run=True 预览，避免误删数据。
• 更多安装选项见官方文档 installation 页面。
• 可调整 distance 参数改变判重相似度阈值。