OmniWorld

用多模态4D数据,训练能理解空间动态的世界模型

开源 🏷️完全免费 ✅ 目前可打开 视频生成 🍴 复刻 8 🐛 待处理 11 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 506
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源数据集,提供在线项目页面展示,数据免费获取,无付费版本。

项目预览

OmniWorld 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队yangzhou24
定价模式🏷️完全免费
价格说明开源数据集,提供在线项目页面展示,数据免费获取,无付费版本。
访问状态✅ 目前可打开
是否开源是
主要语言Python
技术栈/模型4d-reconstruction,real-dataset,spatial-intelligence,synthetic-data,video-generation,world-model
GitHub 星标★ 506
上线时间2025-09-15 00:00:00
代码更新2026-04-16
仓库体积11.3 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

OmniWorld 是一个面向 4D 世界建模的多领域、多模态数据集,由 ICLR 2026 论文提出。它旨在解决当前视频生成和世界模型研究中数据单一、缺乏空间动态和交互信息的问题。该数据集整合了真实采集与合成生成的数据,覆盖多种场景和模态,支持 4D 重建、空间智能、视频生成等任务。核心能力包括提供高保真的动态场景数据,包含相机轨迹、物体运动、深度和语义信息,为训练能够理解物理世界规律和空间关系的模型提供基础。项目处于早期阶段,代码和工具链正在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 506

使用教程

难度:进阶 约 60 分钟 部署方式:本地GPU 5 步

环境要求

  • Python 3.10+
  • 较大存储
  • 显卡(可视化)

安装与启动步骤

  1. 1装命令行工具

    下数据集用官方命令行最省事。

    pip install --upgrade "huggingface_hub[cli]"
  2. 2按说明取数据

    数据集量大,注意存储。

  3. 3可视化点云

    仓库给了可视化脚本。

    python scripts/visualize_pcd.py <your-data-path>/b04f88d1f85a --split_idx 0
  4. 4带标注看一遍

    接上元数据才能对上场景语义。

    python scripts/visualize_pcd.py <your-data-path>/b04f88d1f85a --split_idx 0 --metadata_csv metadata/omniworld_game_metadata.csv
  5. 5评估可用性

    重点看视角覆盖与标注密度。

如何确认成功

能加载一个场景的三维数据并在可视化窗口里自由旋转查看,接上元数据后每个片段能对应到场景描述

注意事项

  • 它是带标注的三维场景数据集,面向具身与空间理解任务。
  • 数据量大,存储要先算够。
  • 附带可视化脚本,比自己对格式快得多。
  • 元数据是理解片段语义的关键,别只看点云。

核心亮点

  • 多领域覆盖,数据多样性高,避免单一场景过拟合
  • 真实+合成数据结合,兼顾真实性与可控性
  • 支持4D重建、视频生成、空间智能多任务,扩展性强

不足之处

  • 项目处于早期,文档和工具链尚不完善
  • 数据集规模与基准评测结果未公开,实际效果待验证

适用场景

  • 训练视频生成模型,提升动态场景一致性
  • 研究4D场景重建与空间智能
  • 开发自动驾驶或机器人仿真环境

替代项目

Objaverse-XL、ScanNet++、Dynamic Replica

上一篇:SpatialVID

下一篇:MicroLens

同类项目推荐

DPSDA 开源

不训练模型,也能生成高质量差分隐私合成数据

Private Evolution: Generating DP Synthetic Data without Model Training [ICML 2026, I···

★ 120 2026-08-09
anomaly-detection-resources 开源

一站式找全异常检测学习资源,紧跟LLM前沿

Anomaly detection related books, papers, videos, and toolboxes. Last update late 202···

★ 9444 2026-08-09
ShareGPT4Video 开源

用GPT-4V生成高质量视频描述,提升视频理解与生成效果

[NeurIPS 2024] An official implementation of "ShareGPT4Video: Improving Video Unders···

★ 1096 2026-08-09
GVINS-Dataset 开源

给机器人一套同步的相机+IMU+GNSS数据,做户外定位不漂移

A dataset containing synchronized visual, inertial and GNSS raw measurements.

★ 266 2026-09-21
deepfabric 开源

一条流水线搞定合成数据生成、训练与评估

Generate High-Quality Synthetics, Train, Measure, and Evaluate in a Single Pipeline

★ 895 2026-08-10
learning-from-rewards-llm-papers 开源

一站式索引LLM奖励学习论文,快速掌握领域脉络

A comrephensive collection of learning from rewards in the post-training and test-ti···

★ 74 2026-08-09
jsut-lab 开源

给日语语音合成数据集补上精细标签,直接用于 TTS 训练

HTS-style full-context labels for JSUT v1.1

★ 51 2026-08-09
colour 开源

搞定色彩转换与科学计算,让颜色处理更专业

Colour Science for Python

★ 2687 2026-08-10