open-data-registry

一键发现并定位 AWS 上的公开数据集

开源 🏷️完全免费 ✅ 目前可打开 数据集 🍴 复刻 1260 🐛 待处理 139 👀 关注 63
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1822
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 免费公开访问,数据集本身可能产生AWS费用

项目预览

open-data-registry 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队awslabs
定价模式🏷️完全免费
价格说明免费公开访问,数据集本身可能产生AWS费用
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 1822
上线时间2017-08-07 00:00:00
代码更新2026-11-04
仓库体积12.6 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-09-21
浏览次数1

项目介绍

open-data-registry 是 AWS 官方维护的公开数据集注册表,用 Python 实现。它把散落在 AWS 各处的开放数据集(Open Data)集中登记,提供统一的元数据描述、检索入口和访问方式说明,解决研究者、数据工程师和开发者难以发现、定位和复用 AWS 上公开数据的问题。核心能力包括:以结构化清单形式记录数据集名称、描述、维护方、许可、S3 存储位置、访问方式等字段;支持通过 GitHub 仓库协作提交和更新数据集条目;可作为程序化查询的数据源,方便下游工具或应用批量获取数据集目录。项目本身不托管数据,而是做索引与元数据管理,因此体量轻、易扩展,适合作为数据发现层的基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 1822

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • 已安装 git
  • 本地有文本编辑器,能编辑 YAML 文件
  • Python 环境(用于按需读取/处理 YAML 元数据)
  • 能访问 GitHub 仓库 https://github.com/awslabs/open-data-registry

安装与启动步骤

  1. 1克隆仓库

    把 open-data-registry 仓库下载到本地,仓库本身只存放数据集元数据,不托管实际数据。

    git clone https://github.com/awslabs/open-data-registry.git
  2. 2进入数据集目录

    所有数据集条目都以 YAML 文件形式存放在 datasets 目录下,先查看已有条目作为参考。

    cd open-data-registry
    ls datasets
  3. 3编写 YAML 元数据

    按 README 给出的字段结构新建一个 YAML 文件,填写名称、描述、维护方、许可、资源 ARN 等。

    vi datasets/my-dataset.yaml
  4. 4提交并推送

    把新增的 YAML 文件提交到自己的分支并推送到 GitHub,随后向主仓库发起 Pull Request。

    git checkout -b add-my-dataset
    git add datasets/my-dataset.yaml
    git commit -m "Add my dataset"
    git push origin add-my-dataset
  5. 5在官网核对

    PR 合并后,条目会出现在 Registry of Open Data on AWS 浏览器和托管的 YAML 列表中,可自行检索确认。

关键配置

配置项必填说明示例
Name是数据集名称My Open Dataset
Description是数据集内容与用途的简要描述A dataset of example records
Documentation否数据集文档链接https://example.com/docs
Contact否联系人信息,便于使用者咨询data@example.com
ManagedBy是数据集的维护方(非 AWS,由各组织或个人维护)Example Organization
UpdateFrequency否数据更新频率Monthly

如何确认成功

本地 datasets 目录中出现新增的 YAML 文件,且 PR 合并后能在 https://registry.opendata.aws/ 检索到该数据集。

常见问题

Q:这些数据是 AWS 提供的吗?

A:不是。注册表中的数据集可通过 AWS 资源访问,但由各政府机构、研究者、企业和个人拥有并维护,AWS 只提供索引与元数据。

Q:如何新增一个数据集?

A:在仓库 datasets 目录下按 README 给出的 YAML 结构新增元数据文件,提交并推送后向仓库发起 Pull Request。

Q:数据集存在哪里?

A:项目本身不托管数据,只记录元数据;实际数据位于各数据集自己的 AWS 资源(如 S3)中,位置通过 Resources 字段的 ARN 说明。

Q:这些 YAML 文件有什么用?

A:用于生成 Registry of Open Data on AWS 浏览器、一份汇总全部条目的托管 YAML 文件,以及每个数据集各自的托管 YAML 文件。

注意事项

  • README 未提供 pip 安装或 Docker 启动方式,该项目是元数据仓库而非可运行服务,不要臆造启动命令。
  • YAML 字段必须与 README 给出的结构保持一致,字段缺失或拼写错误可能导致条目无法被正确生成。
  • 提交前建议先阅读 datasets 目录中已有条目的写法,保持格式统一。
  • 本注册表的数据集由第三方维护,使用时请自行核对许可与引用要求。

核心亮点

  • 由 AWS 官方维护,数据集条目权威且持续更新
  • 以结构化元数据登记数据集,便于程序化检索和集成
  • 基于 GitHub 协作,社区可提交和修正数据集信息

不足之处

  • 仅覆盖 AWS 平台上的公开数据集,范围有限
  • 项目以元数据索引为主,缺少开箱即用的检索界面或 SDK

适用场景

  • 数据科学家快速查找可用的公开数据集用于建模
  • 数据工程师批量获取数据集目录并接入内部数据平台
  • 研究者检索特定领域开放数据并确认访问方式与许可

替代项目

google-dataset-search、datahub、ckan

上一篇:giga-datasets

下一篇:datasets

同类项目推荐

opendata 开源

一键获取美国国家美术馆海量艺术品数据,做研究做应用都方便

The National Gallery of Art Open Data Program

★ 851 2026-08-10
DatasetHelpers 开源

桌面工具自动筛选、缩放并标注图像文本数据集

Dataset Helper program to automatically select, re scale and tag Datasets (composed ···

★ 229 2026-11-02
awesome-japanese-nlp-resources 开源

一份清单搞定日语 NLP 工具、模型与语料检索

A curated list of resources for Japanese natural language processing (NLP): Python l···

★ 1026 2026-09-16
hflow 开源

训练前自动体检机器人数据,坏帧丢帧一跑就现形

SDK for robotics teams to verify the quality of their data used for AI model trainin···

★ 306 2026-09-19
address 开源

用真实开放数据一键生成27国测试地址

A self-hosted address and synthetic test-profile generator for 27 countries and regi···

★ 1797 2026-10-20
ObjaversePlusPlus 开源

想要高质量3D数据?Objaverse++ 帮你筛选出精品,训练效果更稳。

[ICCV 2025] Repo for Objaverse++, Curated 3D Object Dataset with Quality Annotations

★ 116 2026-08-09
Copulas 开源

用 copula 模型生成逼真合成表格数据,解决数据稀缺和隐私问题。

A library to model multivariate data using copulas.

★ 658 2026-08-10
fountain 开源

一句话生成海量对话样本,让 NLU 模型更聪明

Natural Language Data Augmentation Tool for Conversational Systems

★ 115 2026-08-09