video_to_world

把AI生成的视频变成可探索的3D世界

video_to_world 是一个从视频扩散模型生成的三维世界中重建 3D 场景的开源项目。它解决的核心问题是：视频扩散模型生成的视频序列存在固有的三维不一致性，导致直接重建 3D 世界时出现几何畸变和结构错乱。该项目采用非刚性对齐技术，将视频帧序列与潜在的三维表示进行对齐，从而消除不一致性，生成连贯、稳定的 3D 世界。核心能力包括：利用视频扩散模型生成的多视角视频作为输入，通过非刚性变形场优化相机位姿和场景几何，最终输出可交互的 3D 场景。项目基于 Python 实现，技术栈涵盖 3D 重建、视频扩散模型和世界生成，适用于从生成视频中提取 3D 内容的场景。目前处于早期阶段，代码库和文档正在完善中。

开源 free 视频生成

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 315

维护状态维护中

是否开源是

定价模式 free

项目数据

分类视频生成

开发团队lukasHoel

所属国家

官网地址https://lukashoel.github.io/video_to_world

GitHubhttps://github.com/lukasHoel/video_to_world

定价模式free

价格说明开源项目，提供在线演示页面，代码基于MIT许可证，完全免费使用。

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型3d-reconstruction,video-diffusion,world-generation

GitHub 星标★ 315

30天Star增速

HF 下载量

上线时间2026-03-17 00:00:00

最近更新2026-09-22 00:00:00

维护状态维护中

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

提出非刚性对齐方法，有效解决视频扩散模型生成序列的3D不一致性，重建结果更稳定
直接利用视频扩散模型作为输入源，无需额外训练，可适配多种生成视频
技术栈前沿，结合视频生成与3D重建，为生成式3D内容创建提供新路径

不足之处

项目处于早期阶段，文档和社区支持待观察

适用场景

将AI生成的视频内容转化为可交互的3D场景，用于游戏或虚拟现实
辅助影视制作中的场景预可视化，快速从分镜视频生成3D布局
为机器人或自动驾驶提供从生成视频中提取3D环境数据的方法

替代项目

3D Gaussian Splatting、NeRF、Wonder3D

项目介绍

video_to_world 是数字人3D领域的开源项目，由 lukasHoel 开发，是 2026 年新上线的项目。

它收录于数字人3D分类，该分类目前共有 272 个项目，GitHub 星标数为 315。

项目仍在小幅维护中，最近一次代码更新于 2026-09-22。提供在线演示页面，代码基于MIT许可证，完全免费使用。从国内网络环境看，可直接访问。

它主要面向的使用场景是：将AI生成的视频内容转化为可交互的3D场景，用于游戏或虚拟现实。同类可对比的替代方案包括 3D Gaussian Splatting、NeRF、Wonder3D。

上一篇：dreamtalk

下一篇：worldexplorer