Vid2World

把视频变成能交互的虚拟世界,驱动机器人或游戏。

Vid2World 是一个将视频扩散模型转化为交互式世界模型的开源项目,源自 ICLR 2026 论文。它解决的核心问题是:如何让 AI 从静态视频中学习环境动态规律,并支持实时交互与动作控制。项目提供从视频到可操作世界模型的完整流程,涵盖真实场景到仿真(Real2Sim)、机器人操作、导航、游戏模拟等任务,强调空间智能与迁移学习能力。其核心能力包括:基于视频扩散模型的世界建模、动作条件生成、跨场景泛化,以及用于机器人策略学习的交互式环境构建。技术栈基于 Python,适合研究与应用开发者探索具身智能、自动驾驶仿真和游戏内容生成。当前处于早期阶段,代码与文档有待完善,但为视频生成与世界模型结合提供了新思路。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 78
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队thuml
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,可免费使用和修改,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型game-simulation,navigation,real2sim,robot-manipulation,spatial-intelligence,transfer-learning,video-generation,world-model
GitHub 星标★ 78
30天Star增速
HF 下载量
上线时间2025-12-22 00:00:00
最近更新2026-09-10 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 提出视频扩散模型到交互世界模型的新范式,学术创新性强
  • 覆盖 Real2Sim、机器人操作、导航等多任务,应用面广
  • 基于 ICLR 论文,方法论有理论支撑,代码开源可复现

不足之处

  • 项目早期,星标少,代码成熟度和社区支持待观察
  • 文档/社区待观察,实际使用可能需要较多调试

适用场景

  • 机器人操作策略训练,在仿真中学习后迁移到真实环境
  • 自动驾驶或导航场景的仿真环境构建与测试
  • 游戏内容生成,创建可交互的虚拟世界

替代项目

Genie、Dreamer、IRIS

项目介绍

Vid2World 是视频领域的开源项目,由 thuml 开发,2025 年首次发布。

它收录于视频分类,该分类目前共有 472 个项目,GitHub 星标数为 78。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-10。Apache-2.0许可证,可免费使用和修改,无付费版本。

它主要面向的使用场景是:机器人操作策略训练,在仿真中学习后迁移到真实环境。同类可对比的替代方案包括 Genie、Dreamer、IRIS。

上一篇:wunjo.wladradchenko.ru

下一篇:SeedVR2

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 334 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10