video_to_world

把AI生成的视频变成可探索的3D世界

开源 🏷️完全免费 ✅ 目前可打开 视频生成 🍴 复刻 33 🐛 待处理 5 👀 关注 10
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 330
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线演示页面,代码基于MIT许可证,完全免费使用。

项目预览

video_to_world 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队lukasHoel
定价模式🏷️完全免费
价格说明开源项目,提供在线演示页面,代码基于MIT许可证,完全免费使用。
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-reconstruction,video-diffusion,world-generation
GitHub 星标★ 330
上线时间2026-03-17 00:00:00
代码更新2026-08-06
仓库体积178.7 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

video_to_world 是一个从视频扩散模型生成的三维世界中重建 3D 场景的开源项目。它解决的核心问题是:视频扩散模型生成的视频序列存在固有的三维不一致性,导致直接重建 3D 世界时出现几何畸变和结构错乱。该项目采用非刚性对齐技术,将视频帧序列与潜在的三维表示进行对齐,从而消除不一致性,生成连贯、稳定的 3D 世界。核心能力包括:利用视频扩散模型生成的多视角视频作为输入,通过非刚性变形场优化相机位姿和场景几何,最终输出可交互的 3D 场景。项目基于 Python 实现,技术栈涵盖 3D 重建、视频扩散模型和世界生成,适用于从生成视频中提取 3D 内容的场景。目前处于早期阶段,代码库和文档正在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 330

核心亮点

  • 提出非刚性对齐方法,有效解决视频扩散模型生成序列的3D不一致性,重建结果更稳定
  • 直接利用视频扩散模型作为输入源,无需额外训练,可适配多种生成视频
  • 技术栈前沿,结合视频生成与3D重建,为生成式3D内容创建提供新路径

不足之处

  • 项目处于早期阶段,文档和社区支持待观察

适用场景

  • 将AI生成的视频内容转化为可交互的3D场景,用于游戏或虚拟现实
  • 辅助影视制作中的场景预可视化,快速从分镜视频生成3D布局
  • 为机器人或自动驾驶提供从生成视频中提取3D环境数据的方法

替代项目

3D Gaussian Splatting、NeRF、Wonder3D

上一篇:dreamtalk

下一篇:worldexplorer

同类项目推荐

Kokoro-Engine 开源

用 Rust 打造你的 AI 虚拟人,跨平台实时互动

Cross-platform virtual character immersive interaction engine

★ 160 2026-08-09
AG3D 开源

用2D图片直接生成3D虚拟人,告别昂贵扫描

Official code release for ICCV2023 paper AG3D: Learning to Generate 3D Avatars from ···

★ 273 2026-08-09
SyncTalk 开源

让数字人说话口型精准同步,告别嘴型对不上的尴尬

[CVPR 2024] This is the official source for our paper "SyncTalk: The Devil is in the···

★ 1626 2026-08-09
instant-nvr 开源

几分钟内重建动态人体,快速生成神经体积表示。

[CVPR 2023] Code for "Learning Neural Volumetric Representations of Dynamic Humans i···

★ 162 2026-08-09
JoyVASA 开源

上传一张图,让照片和动物动起来说话

Diffusion-based Portrait and Animal Animation

★ 884 2026-08-09
Awesome-3D-Generation 开源

一站式导航AI 3D生成资源,快速上手前沿技术

A curated list of awesome 3D generation resources, papers, and tools for AI-powered ···

★ 83 2026-08-09
NOC3D-chapter6 开源

把《代码本色》的智能体算法搬进 3D 世界,边看边学

Nature of Code - Autonomous Agents examples in 3D

★ 74 2026-08-09
Open-DiffusionGS 开源

单张图片秒变3D模型,一步到位无需多阶段优化

Baking Gaussian Splatting into Diffusion Denoiser for Fast and Scalable Single-stage···

★ 868 2026-08-09
ScrumSurvivor 开源

摄像头交给 AI 分身,开会走神也看不出破绽。

Survive mandatory camera-on meetings with a photorealistic AI avatar

★ 23 2026-08-09