项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1407
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(用于运行仓库中的 download.py 脚本)
- 可访问 Hugging Face 数据集页面(数据集托管在 huggingface.co/datasets/poloclub/diffusiondb)
- 充足磁盘空间:DiffusionDB 2M 约 1.6TB,Large 约 6.5TB,整套范围下载会提示需要约 1.7TB
安装与启动步骤
-
1获取下载脚本
把项目仓库克隆到本地,进入目录后即可看到 README 中提到的 download.py 下载脚本。
git clone https://github.com/poloclub/diffusiondb cd diffusiondb -
2选择数据集子集
2M 子集约 1.6TB,图像在 images/,元数据为 metadata.parquet;Large 约 6.5TB,图像在两个 large-part 目录。
-
3下载单个文件
-i 后填 HuggingFace 文件名末尾的编号,脚本会自动补零并生成下载 URL。
python download.py -i 23 -
4下载指定范围
用 -i 作下界、-r 作上界批量下载;注意 -i 1 -r 2000 会下载整个数据集。
python download.py -i 1 -r 2000 -
5指定下载目录
用 -o 自定义输出目录;若移动了下载位置,需同步移动 images/ 下的 part .zip 文件或使用符号链接。
python download.py -i 1 -r 2000 -o /home/$USER/datahoarding/etc -
6下载后自动解压
加 -z 让脚本在所有文件下载完成后再统一解压,避免下载与解压两个耗时过程相互干扰。
python download.py -i 1 -r 2000 -z
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
-i / --index | 是 | 要下载的单个文件编号,或范围下载时的下界 | 23 |
-r / --range | 否 | 与 -i 配合使用时,范围下载的上界 | 2000 |
-o / --output | 否 | 自定义输出目录,未设置时默认当前目录 | /home/$USER/datahoarding/etc |
-z / --unzip | 否 | 下载完成后解压文件 | -z |
-l / --large | 否 | 从 DiffusionDB Large 下载,默认为 DiffusionDB 2M | -l |
如何确认成功
运行后终端显示下载进度并在输出目录生成 part .zip 文件(加 -z 则解压出图像);配套 metadata.parquet 可用于对照提示词。
常见问题
Q:下载整套数据集需要多大空间?
A:使用 -i 1 -r 2000 会下载整个数据集,脚本会先要求你确认下载目标位置有约 1.7TB 空闲空间,空间不足请改用范围下载。
Q:怎么下载更大的 DiffusionDB Large?
A:在命令中加上 -l 或 --large 参数,不加则默认下载 DiffusionDB 2M 子集,两者提示词数量相近但图像规模差很多。
Q:下载下来的文件在哪里?
A:默认放在数据集 part .zip 文件所在的 images/ 目录;若用 -o 换位置,需要把这些 part 文件一起移动,或建立符号链接。
Q:解压应该在下载前还是下载后做?
A:脚本默认在全部文件下载完成后才解压,因为下载和解压都可能很耗时;直接加 -z 即可交给脚本自动处理。
Q:提示词和超参数在哪里?
A:在元数据表中:2M 子集对应 metadata.parquet,Large 子集对应 metadata-large.parquet,需与图像目录配合使用。
注意事项
- README 只说明了 Hugging Face 数据集页面和 download.py 脚本用法,未提供 pip 依赖列表,运行脚本前请自行确认本地 Python 环境可用。
- 命令示例中的 -i 1 -r 2000 等价于下载整个数据集,请勿在空间不足的机器上直接执行。
- 本项目是数据集而非可部署的模型服务,不需要启动端口或容器。
- 使用 -o 更换下载目录时,记得同时处理 images/ 下的 part .zip 文件或改用符号链接。
核心亮点
- 包含数百万真实用户提示词和图像,数据规模大且贴近实际使用场景
- 提供详细的元数据(如超参数、采样器),便于多维度分析
- 附带数据过滤和去重工具,方便研究人员快速清洗数据
不足之处
- 数据基于 Stable Diffusion 特定版本,可能不适用于其他模型
- 文档/社区待观察
适用场景
- 研究提示词工程对生成图像的影响
- 训练或微调文本到图像模型的提示词理解能力
- 构建图像检索或推荐系统的基准数据集
替代项目
LAION-5B、JourneyDB、Midjourney Dataset
下一篇:HumanArt
同类项目推荐
TACO
开源
现成垃圾图像标注集,直接训练检测分割模型
Trash Annotations in Context Dataset Toolkit
ShareGPT4Video
开源
用GPT-4V生成高质量视频描述,提升视频理解与生成效果
[NeurIPS 2024] An official implementation of "ShareGPT4Video: Improving Video Unders···
medalign
开源
用医生真实指令数据,提升大模型在电子病历上的表现
MedAlign is a clinician-generated dataset for instruction following with electronic ···
dataset-viewer
开源
不下载数据集,网页直接看样本和统计
Backend that powers the dataset viewer on Hugging Face dataset pages through a publi···
faker
开源
一行代码生成各种逼真假数据,测试开发不用愁
Faker is a Python package that generates fake data for you.
Tegridy-MIDI-Dataset
开源
一键获取高质量 MIDI 数据,加速音乐 AI 模型训练。
Tegridy MIDI Dataset for precise and effective Music AI models creation.
lhotse
开源
统一音频数据清单,少写加载代码,直接开训语音模型
Tools for handling multimodal data in machine learning projects.
VeriInk
开源
可验证手写合成数据,让模型改进有据可查
Verifiable handwriting synthesis for feedback-driven model improvement and RSI resea···
AlignLedger
开源
把标注、审核、溯源和数据集冻结串成一条可复现流水线
Human-feedback and data-governance infrastructure for RSI research: annotation, revi···
