项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 1822
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 git
- 本地有文本编辑器,能编辑 YAML 文件
- Python 环境(用于按需读取/处理 YAML 元数据)
- 能访问 GitHub 仓库 https://github.com/awslabs/open-data-registry
安装与启动步骤
-
1克隆仓库
把 open-data-registry 仓库下载到本地,仓库本身只存放数据集元数据,不托管实际数据。
git clone https://github.com/awslabs/open-data-registry.git -
2进入数据集目录
所有数据集条目都以 YAML 文件形式存放在 datasets 目录下,先查看已有条目作为参考。
cd open-data-registry ls datasets -
3编写 YAML 元数据
按 README 给出的字段结构新建一个 YAML 文件,填写名称、描述、维护方、许可、资源 ARN 等。
vi datasets/my-dataset.yaml -
4提交并推送
把新增的 YAML 文件提交到自己的分支并推送到 GitHub,随后向主仓库发起 Pull Request。
git checkout -b add-my-dataset git add datasets/my-dataset.yaml git commit -m "Add my dataset" git push origin add-my-dataset -
5在官网核对
PR 合并后,条目会出现在 Registry of Open Data on AWS 浏览器和托管的 YAML 列表中,可自行检索确认。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
Name | 是 | 数据集名称 | My Open Dataset |
Description | 是 | 数据集内容与用途的简要描述 | A dataset of example records |
Documentation | 否 | 数据集文档链接 | https://example.com/docs |
Contact | 否 | 联系人信息,便于使用者咨询 | data@example.com |
ManagedBy | 是 | 数据集的维护方(非 AWS,由各组织或个人维护) | Example Organization |
UpdateFrequency | 否 | 数据更新频率 | Monthly |
如何确认成功
本地 datasets 目录中出现新增的 YAML 文件,且 PR 合并后能在 https://registry.opendata.aws/ 检索到该数据集。
常见问题
Q:这些数据是 AWS 提供的吗?
A:不是。注册表中的数据集可通过 AWS 资源访问,但由各政府机构、研究者、企业和个人拥有并维护,AWS 只提供索引与元数据。
Q:如何新增一个数据集?
A:在仓库 datasets 目录下按 README 给出的 YAML 结构新增元数据文件,提交并推送后向仓库发起 Pull Request。
Q:数据集存在哪里?
A:项目本身不托管数据,只记录元数据;实际数据位于各数据集自己的 AWS 资源(如 S3)中,位置通过 Resources 字段的 ARN 说明。
Q:这些 YAML 文件有什么用?
A:用于生成 Registry of Open Data on AWS 浏览器、一份汇总全部条目的托管 YAML 文件,以及每个数据集各自的托管 YAML 文件。
注意事项
- README 未提供 pip 安装或 Docker 启动方式,该项目是元数据仓库而非可运行服务,不要臆造启动命令。
- YAML 字段必须与 README 给出的结构保持一致,字段缺失或拼写错误可能导致条目无法被正确生成。
- 提交前建议先阅读 datasets 目录中已有条目的写法,保持格式统一。
- 本注册表的数据集由第三方维护,使用时请自行核对许可与引用要求。
核心亮点
- 由 AWS 官方维护,数据集条目权威且持续更新
- 以结构化元数据登记数据集,便于程序化检索和集成
- 基于 GitHub 协作,社区可提交和修正数据集信息
不足之处
- 仅覆盖 AWS 平台上的公开数据集,范围有限
- 项目以元数据索引为主,缺少开箱即用的检索界面或 SDK
适用场景
- 数据科学家快速查找可用的公开数据集用于建模
- 数据工程师批量获取数据集目录并接入内部数据平台
- 研究者检索特定领域开放数据并确认访问方式与许可
替代项目
google-dataset-search、datahub、ckan
上一篇:giga-datasets
下一篇:datasets
同类项目推荐
opendata
开源
一键获取美国国家美术馆海量艺术品数据,做研究做应用都方便
The National Gallery of Art Open Data Program
DatasetHelpers
开源
桌面工具自动筛选、缩放并标注图像文本数据集
Dataset Helper program to automatically select, re scale and tag Datasets (composed ···
awesome-japanese-nlp-resources
开源
一份清单搞定日语 NLP 工具、模型与语料检索
A curated list of resources for Japanese natural language processing (NLP): Python l···
hflow
开源
训练前自动体检机器人数据,坏帧丢帧一跑就现形
SDK for robotics teams to verify the quality of their data used for AI model trainin···
address
开源
用真实开放数据一键生成27国测试地址
A self-hosted address and synthetic test-profile generator for 27 countries and regi···
ObjaversePlusPlus
开源
想要高质量3D数据?Objaverse++ 帮你筛选出精品,训练效果更稳。
[ICCV 2025] Repo for Objaverse++, Curated 3D Object Dataset with Quality Annotations
Copulas
开源
用 copula 模型生成逼真合成表格数据,解决数据稀缺和隐私问题。
A library to model multivariate data using copulas.
fountain
开源
一句话生成海量对话样本,让 NLU 模型更聪明
Natural Language Data Augmentation Tool for Conversational Systems
awesome-matchem-datasets
开源
材料化学数据集一网打尽,找数据不再东翻西找
