Vid2World

把视频变成能交互的虚拟世界，驱动机器人或游戏。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 7 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 78
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和修改，无付费版本。

项目预览

Vid2World 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队thuml
官网地址https://knightnemo.github.io/vid2world
GitHubhttps://github.com/thuml/Vid2World
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和修改，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型game-simulation,navigation,real2sim,robot-manipulation,spatial-intelligence,transfer-learning,video-generation,world-model
GitHub 星标★ 78
上线时间2025-12-22 00:00:00
代码更新2026-01-27
仓库体积66.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

Vid2World 是一个将视频扩散模型转化为交互式世界模型的开源项目，源自 ICLR 2026 论文。它解决的核心问题是：如何让 AI 从静态视频中学习环境动态规律，并支持实时交互与动作控制。项目提供从视频到可操作世界模型的完整流程，涵盖真实场景到仿真（Real2Sim）、机器人操作、导航、游戏模拟等任务，强调空间智能与迁移学习能力。其核心能力包括：基于视频扩散模型的世界建模、动作条件生成、跨场景泛化，以及用于机器人策略学习的交互式环境构建。技术栈基于 Python，适合研究与应用开发者探索具身智能、自动驾驶仿真和游戏内容生成。当前处于早期阶段，代码与文档有待完善，但为视频生成与世界模型结合提供了新思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 78

核心亮点

  • 提出视频扩散模型到交互世界模型的新范式，学术创新性强
  • 覆盖 Real2Sim、机器人操作、导航等多任务，应用面广
  • 基于 ICLR 论文，方法论有理论支撑，代码开源可复现

不足之处

  • 项目早期，星标少，代码成熟度和社区支持待观察
  • 文档/社区待观察，实际使用可能需要较多调试

适用场景

  • 机器人操作策略训练，在仿真中学习后迁移到真实环境
  • 自动驾驶或导航场景的仿真环境构建与测试
  • 游戏内容生成，创建可交互的虚拟世界

替代项目

Genie、Dreamer、IRIS

上一篇：wunjo.wladradchenko.ru

下一篇：SeedVR2

同类项目推荐

MimicMotion 开源

上传一张照片和动作序列，生成逼真的人物动态视频

High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance

★ 2690 2026-08-09
ComfyUI-MiniMaxH3-Easy 开源

一条工作流搞定文/图/首尾帧/参考视频生成

The easiest way to use MiniMax H3. One compact workflow for T2V, I2V, first/last-fra···

★ 890 2026-09-29
lipsync 开源

上传视频和音频，一键生成唇形同步视频，支持CPU运行

lipsync is a simple and updated Python library for lip synchronization, based on Wav···

★ 155 2026-08-09
magvit 开源

用掩码 Transformer 高效生成高质量视频，支持预测、补全和插值。

Official JAX implementation of MAGVIT: Masked Generative Video Transformer

★ 1002 2026-08-09
redditube 开源

把 Reddit 热帖一键变成视频，自动配音加字幕

A video generator from Reddit posts and comments

★ 64 2026-08-09
LightX2V 开源

把静态图变动态视频，轻量推理快人一步

Lightweight Image Video Action Generation Inference Framework

★ 2996 2026-08-09
PIA 开源

输入文本，让静态照片动起来，生成个性化动画视频

[CVPR 2024] PIA, your Personalized Image Animator. Animate your images by text promp···

★ 972 2026-08-09
Lumos-Custom 开源

按你的素材定制生成视频的研究代码库

[ICLR-26, ECCV-26, NeurIPS-25] Lumos-Custom Project: research for customized video g···

★ 226 2026-10-26
HunyuanCustom 开源

多模态驱动，定制你的专属视频生成

HunyuanCustom: A Multimodal-Driven Architecture for Customized Video Generation

★ 1232 2026-08-09