项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-10 · 当前星标 ★ 4611
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 环境(README 示例代码为 Python)
- pip 包管理器(用于安装 tensorflow-datasets)
- TensorFlow(README 示例中 import tensorflow as tf)
- 可联网环境(首次加载数据集需要下载)
安装与启动步骤
-
1安装 TFDS 库
README 明确给出安装命令,在终端执行即可。若在 Colab 中运行,命令前需加感叹号。
pip install tensorflow-datasets -
2验证导入成功
导入 tensorflow_datasets 与 tensorflow,确认包已正确安装、没有报错。
python -c "import tensorflow_datasets as tfds import tensorflow as tf print(tfds.__name__)" -
3加载 MNIST 数据
用 tfds.load 构造 tf.data.Dataset。split 指定切分,as_supervised 返回(图,标签)元组。
python -c "import tensorflow_datasets as tfds ds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True) print(ds)" -
4搭建输入管道
在数据集上链式调用 shuffle、batch、prefetch、take,构建可直接喂给模型的输入管道。
python -c "import tensorflow_datasets as tfds ds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True) ds = ds.shuffle(1000).batch(128).prefetch(10).take(5) for image, label in ds: pass"
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
split | 是 | 指定加载的数据切分,如 train | train |
as_supervised | 否 | 为 True 时返回 (特征, 标签) 元组 | True |
shuffle_files | 否 | 是否打乱底层文件读取顺序 | True |
如何确认成功
运行 tfds.load('mnist', split='train') 能正常返回数据集对象并完成迭代、无报错,即表示安装与加载成功。
常见问题
Q:我该从哪里开始使用 TFDS?
A:README 强烈建议先阅读官方 getting started guide,也可在提供的 Colab notebook 中交互式体验。
Q:有哪些数据集可以使用?
A:官方文档提供了全部可用数据集目录(catalog overview),README 给出了链接,可按需查阅。
Q:在 Colab 里怎么安装?
A:README 示例中已给出注释形式的命令 !pip install tensorflow-datasets,去掉注释直接运行单元格即可。
Q:加载数据集的接口是什么?
A:核心接口是 tfds.load,它返回 tf.data.Dataset,可继续用 shuffle/batch/prefetch 等方法构建管道。
注意事项
- README 建议先阅读官方 getting started guide,再动手安装使用。
- 官方提供 Colab notebook,可在线交互式试跑示例代码,无需本地环境。
- tfds.load 返回的是 tf.data.Dataset 对象,后续处理遵循 tf.data 的常规用法。
- README 未提供自定义缓存路径、代理等高级配置说明,需要时请查阅官方文档。
核心亮点
- 统一API,一行代码加载数据集,支持TensorFlow和JAX
- 内置数百个主流数据集,覆盖图像、文本、音频等多领域
- 自动处理下载、缓存和版本管理,保证数据可复现性
不足之处
- 部分数据集加载依赖网络,离线环境使用受限
- 文档对自定义数据集构建的示例不够丰富
适用场景
- 机器学习模型训练前的数据准备与快速迭代
- 学术研究中复现论文实验,快速获取标准数据集
- 教学演示,无需手动下载数据即可演示模型效果
替代项目
Hugging Face Datasets、Torchvision Datasets、OpenML
同类项目推荐
llm-datasets
开源
一站式查找大模型后训练数据集与工具,告别大海捞针。
Curated list of datasets and tools for post-training.
RSIBench-Data
开源
一键生成代码评测数据并在沙箱里跑分
Synthetic data generation, post-training, and E2B benchmark evaluation infrastructur···
IEPile
开源
用2000万条高质量数据,让大模型更懂信息抽取。
[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus
StarryDivineSky
开源
一个仓库逛遍 10K+ 精选开源项目,快速找到你要的轮子。
精选了10K+项目,包括机器学习、深度学习、NLP、GNN、推荐系统、生物医药、机器视觉、前后···
sd-tagtool
开源
拖拽整理SD训练标签,数据干净训练快
A stable diffusion training dataset tag editor.
VPSCI-Dataset
开源
真实车人冲突场景数据,直接喂给自动驾驶安全模型
VPSCI(Vehicle–Pedestrian Safety-Critical Interaction)Dataset
awesome-data-llm
开源
一张清单看懂大模型数据从哪来、怎么洗、怎么配
Official Repository of "LLM × DATA" Survey Paper
pii-masker
开源
一行代码自动识别并打码敏感信息,保护数据隐私
PII Masker is an open-source tool for protecting sensitive data by automatically det···
ManaTTS-Persian-Speech-Dataset
开源
开源波斯语语音数据集,114小时转写音频,直接训练TTS模型
ManaTTS is the largest open Persian speech dataset with 114+ hours of transcribed au···
