tfrecord

不装 TensorFlow 也能读写 TFRecord,直接接 PyTorch

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 110 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 902
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费

项目预览

tfrecord 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队vahidk
定价模式🏷️完全免费
价格说明开源免费
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型dataset,loader,pytorch,tensorflow,tfrecord
GitHub 星标★ 902
上线时间2019-11-26 00:00:00
代码更新2026-11-03
仓库体积76 KB
本站数据更新2026-11-06
维护状态活跃
收录时间2026-11-06
浏览次数0

项目介绍

tfrecord 是一个独立的 TFRecord 文件读写库,让不依赖 TensorFlow 运行时的 PyTorch 用户也能直接使用 TFRecord 格式数据。TFRecord 是 TensorFlow 生态中常见的二进制序列化存储格式,很多公开数据集以该格式分发,但原生读写需要安装 TensorFlow。本项目用纯 Python 实现解析与写入,并提供与 PyTorch Dataset/DataLoader 兼容的封装,可直接接入训练流程。核心能力包括:读取 TFRecord 中的 tf.Example 记录并解码为 Python 字典;支持写入 TFRecord 文件;提供 PyTorch 数据加载器接口,支持批处理与多进程加载;可处理图像、张量等常见字段类型。适合需要复用 TFRecord 格式数据集、但训练框架为 PyTorch 的开发者,减少对 TensorFlow 的依赖。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-06 · 当前星标 ★ 902

技术标签

核心亮点

  • 纯 Python 实现 TFRecord 解析与写入,无需安装 TensorFlow 运行时
  • 提供 PyTorch Dataset/DataLoader 封装,可直接接入训练循环
  • 支持 tf.Example 记录解码与常见字段类型,接口简洁易上手

不足之处

  • 项目早期,功能覆盖与边界情况处理可能不如官方实现完善
  • 文档与社区规模较小,遇到问题可参考的资料有限

适用场景

  • PyTorch 训练流程读取以 TFRecord 格式分发的公开数据集
  • 将已有 TFRecord 数据转换为 PyTorch 可迭代的批次输入
  • 在无 TensorFlow 环境的机器上写入或检查 TFRecord 文件内容

替代项目

tensorflow、webdataset、petastorm

上一篇:paperlists

下一篇:huashu-bird-sticker

同类项目推荐

Awesome-Embodied-AI 开源

一页清单看懂具身智能,快速找到模型、数据与仿真器

Curated embodied AI list: surveys, VLA models, datasets, simulators, humanoids, robo···

★ 254 2026-10-10
potato 开源

便携式多模态标注工具,集成智能代理,让标注更高效。

potato: the portable annotation tool

★ 441 2026-08-10
datasets 开源

一键获取细胞高内涵成像数据,直接开跑形态学分析

Images and other data from the JUMP Cell Painting Consortium

★ 194 2026-09-21
plinder 开源

统一蛋白质-配体数据与评测,让模型对比更公平

Protein Ligand INteraction Dataset and Evaluation Resource

★ 316 2026-09-21
dataset-viewer 开源

不下载数据集,网页直接看样本和统计

Backend that powers the dataset viewer on Hugging Face dataset pages through a publi···

★ 907 2026-09-21
medical-datasets 开源

医学影像数据集一站清单,找数据不再东翻西找

tracking medical datasets, with a focus on medical imaging

★ 931 2026-10-19
mega-data-factory 开源

打造高质量多模态数据集,让基础模型训练更高效

Mega Scale Multimodal DataPipeline for SOTA Foundation Models

★ 380 2026-08-09
Exclusively-Dark-Image-Dataset 开源

低光视觉研究必备:1.2万张暗光图带框标注

Exclusively Dark (ExDARK) dataset which to the best of our knowledge, is the largest···

★ 656 2026-10-01