vivid123

一张图生成多视角视频，3D重建更轻松

ViVid-1-to-3 是一个基于视频扩散模型的单图生成多视角新视图的开源项目，由 CVPR 2024 Highlight 论文提出。它解决的是从单张图像生成连贯、多视角图像序列的问题，即给定一张物体或场景的图片，模型能生成围绕该物体的多个视角视图，这些视图在时间和空间上保持一致性，从而为 3D 重建、虚拟试穿、机器人抓取等下游任务提供高质量的输入。其核心能力在于利用视频扩散模型在时间维度上的连续性，将新视图合成视为视频生成任务，从而显著提升多视角生成的几何一致性和视觉质量。项目基于 Python 和 PyTorch 实现，依赖 Stable Diffusion 和视频扩散模型，提供了完整的训练和推理代码，以及预训练模型和示例数据，方便研究者复现和进一步开发。