gcd

单目视频一键生成动态新视角，让相机自由飞

GCD（Generative Camera Dolly）是ECCV 2024 Oral的官方实现，专注于极端单目动态新视角合成。它解决的是从单个移动摄像头拍摄的视频中，生成任意新视角的动态场景问题，尤其在相机运动幅度大、场景动态变化的情况下，传统方法难以生成连贯且高质量的新视图。该项目的核心能力是利用生成式扩散模型，结合深度估计和相机位姿信息，对动态场景进行4D重建和渲染，从而合成出具有真实感的新视角视频。其技术栈涵盖深度学习、扩散模型、计算机视觉和图形学。项目提供官方代码和模型，支持用户输入单目视频，输出可交互的动态新视角结果。