arco-era5

把 ERA5 气象数据转成云端 Zarr,按需秒读任意区域时段

arco-era5 是 Google Research 开源的配方仓库,用于把 ECMWF 的 ERA5 再分析数据(全球气象历史数据,含温度、风、气压、降水等变量)转换成 Analysis-Ready & Cloud Optimized(ARCO)格式。传统 ERA5 以 GRIB/NetCDF 分发,单变量单时刻文件多、下载慢、解压重,做气候分析前往往要花大量时间做格式转换和索引。本项目提供可复现的 Python 脚本与工作流,把原始数据重写成 Zarr 格式并上传到云存储,实现按需分块读取、并行加载和直接切片,无需整份下载。核心能力包括:批量转换 ERA5 各压力层与地面变量、生成云优化分块、保留时间与空间维度索引,让研究者用 xarray 一行代码即可拉取任意区域和时段。它本身不是数据服务,而是可复现的数据生产管线,适合需要自建 ERA5 云数据集的团队参考。

开源 free 数据集
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 504
维护状态 活跃
是否开源
定价模式 free

项目数据

分类数据集
开发团队google-research
所属国家
定价模式free
价格说明开源免费,数据托管于Google公共数据集
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型cloud-optimized,ecmwf,era5,open-science,zarr
GitHub 星标★ 504
30天Star增速
HF 下载量
上线时间2022-05-05 00:00:00
最近更新2026-09-20 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-21
浏览次数0

使用教程

核心亮点

  • 提供完整可复现的转换脚本,覆盖 ERA5 多变量与压力层,直接产出 Zarr 云优化格式
  • 基于 xarray/dask 生态,转换后可并行分块读取,避免下载整份 GRIB 再本地解压
  • 由 Google Research 维护,与公开的 ARCO-ERA5 云数据集对应,工程实践参考价值高

不足之处

  • 仓库以配方脚本为主,不含现成数据服务,使用者仍需自备云存储与计算资源
  • 依赖 ECMWF 原始数据获取权限与较大磁盘/带宽,个人小规模复现门槛不低

适用场景

  • 气候科研团队自建云端 ERA5 数据集,供组内成员按区域时段快速切片分析
  • 气象 AI 训练前批量生成云优化训练样本,加速数据加载与迭代
  • 数据工程团队参考其 Zarr 分块与转换流程,迁移到其他再分析数据产品

替代项目

pangeo-forge-recipes、xarray

项目介绍

arco-era5 是数据集领域的开源项目,由 google-research 开发,2022 年首次发布。

它收录于数据集分类,该分类目前共有 278 个项目,GitHub 星标数为 504。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-20。开源免费,数据托管于Google公共数据集。

它主要面向的使用场景是:气候科研团队自建云端ERA5数据集,供组内成员按区域时段快速切片分析。同类可对比的替代方案包括 pangeo-forge-recipes、xarray。

上一篇:plinder

下一篇:awesome-legal-data

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10496 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1643 2026-09-20
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3395 2026-08-10
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09