the_well

15TB 多物理场仿真数据,开箱即用训练科学大模型

开源 free 数据集
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 4472
维护状态 活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类数据集
开发团队PolymathicAI
所属国家
定价模式free
价格说明开源数据集,免费获取
访问状态
是否开源是
开源协议BSD-3-Clause
主要语言Jupyter Notebook
技术栈/模型
GitHub 星标★ 4472
30天Star增速
HF 下载量
上线时间2024-12-02 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-19
浏览次数0

项目介绍

The Well 是一个约 15TB 的物理模拟数据集集合,旨在为机器学习与科学计算研究提供统一、大规模、多物理场的训练与评测数据。它解决的核心问题是:物理仿真数据分散在各自论文与仓库中,格式、分辨率、边界条件不统一,难以公平比较模型。项目汇集流体、湍流、天体物理、声学、等离子体、生物力学等多类偏微分方程数值模拟结果,以标准化 HDF5 等格式组织,并提供数据加载接口与基准任务,方便研究者直接用于神经算子、代理模型、生成模型和降阶建模等实验。其核心能力包括多物理场覆盖、统一数据规范、可复现的基准划分,以及面向大规模数据的高效读取设计,适合作为科学机器学习的公共数据底座。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 15 分钟 部署方式:库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python >= 3.10
  • 建议使用计算资源充足的机器(训练或评测深度学习模型)
  • 足够的本地磁盘空间:全量数据集约 15TB,建议按需下载
  • 已安装 the_well 包并下载对应数据集

安装与启动步骤

  1. 1创建虚拟环境

    README 建议新建 Python(>=3.10) 环境,用 venv 把 path/to/env 换成你想要的目录。

    python -m venv path/to/env
  2. 2激活虚拟环境

    激活后后续安装与运行都在该环境中,避免污染系统 Python。

    source path/to/env/bin/activate
  3. 3安装 the_well 包

    README 的安装章节被截断,未给出具体安装命令;请按官方仓库 README 完成安装。

  4. 4下载数据集

    从 Hugging Face 的 The Well 集合页下载所需数据集到本地基础目录,16 个数据集可单独选用。

  5. 5加载数据训练

    用 WellDataset 指定数据根目录、数据集名和划分,再交给 DataLoader 迭代取 batch。

    from the_well.data import WellDataset
    from torch.utils.data import DataLoader
    
    trainset = WellDataset(
        well_base_path="path/to/base",
        well_dataset_name="name_of_the_dataset",
        well_split_name="train"
    )
    train_loader = DataLoader(trainset)
    
    for batch in train_loader:
        ...

关键配置

配置项必填说明示例
well_base_path是数据集的本地根目录路径path/to/base
well_dataset_name是要加载的数据集名称name_of_the_dataset
well_split_name是数据划分,如训练集train

如何确认成功

运行示例加载代码,DataLoader 能正常迭代并产出 batch,即表示数据与环境可用。

常见问题

Q:必须下载全部 15TB 数据吗?

A:不必。The Well 由 16 个数据集组成,可单独使用,按需从 Hugging Face 集合页下载对应子集即可。

Q:viscoelastic_instability 还能用吗?

A:已因数据处理错误被弃用,仅保留用于向后对比;请改用 viscoelastic_instability_v2,二者数据相同但无该错误。

Q:对 Python 版本有要求吗?

A:README 建议使用 Python >= 3.10,并新建独立虚拟环境安装。

Q:对硬件有什么要求?

A:若用于训练或评测深度学习模型,官方建议使用计算资源充足的机器。

注意事项

  • 全量数据约 15TB,下载前确认磁盘容量与带宽。
  • README 中安装章节不完整,包的具体安装命令请以官方仓库为准。
  • 接口细节可参考官方 docs/api.md 与 tutorials/dataset.ipynb。

核心亮点

  • 覆盖流体、天体、声学、等离子体等多物理场,单一数据集即可支撑跨领域对比实验
  • 提供统一的数据格式与加载接口,省去自行清洗、对齐不同模拟数据的大量工程工作
  • 附带基准任务与划分,便于复现论文和公平比较神经算子、代理模型等方法的性能

不足之处

  • 总体约 15TB,对存储、带宽和算力要求高,个人研究者和小团队上手门槛明显
  • 数据以预生成模拟为主,物理场景与参数范围受原始模拟设定限制,难以按需定制

适用场景

  • 训练和评测神经算子、图神经网络等科学机器学习代理模型
  • 作为物理信息神经网络与生成模型的标准化训练与验证数据源
  • 教学与课程实验中演示多物理场仿真数据的加载、可视化与建模流程

替代项目

PDEBench、PDEArena

同类项目推荐

X-AnyLabeling 开源

一站式AI辅助标注,图像视频文本通吃,导出格式随心配

X-AnyLabeling: A lightweight, efficient, and unified cross-platform desktop applicat···

★ 10728 2026-08-10
aisheets 开源

像用表格一样批量调 AI,不写代码就能造和改数据集

Build, enrich, and transform datasets using AI models with no code

★ 1652 2026-09-20
DataGen 开源

用大模型一键生成定制化训练数据,告别数据荒

[ICLR'25] DataGen: Unified Synthetic Dataset Generation via Large Language Models

★ 69 2026-08-09
distilabel 开源

基于论文的合成数据流水线,快速生成高质量 AI 反馈数据。

Distilabel is a framework for synthetic data and AI feedback for engineers who need ···

★ 3424 2026-08-10