Vidu4D

视频与4D互惠优化，生成动态场景更真实

Vidu4D（Video4DGen）是一个面向视频与4D内容生成的开源项目，由北大和生数科技联合提出，发表于TPAMI 2025和NeurIPS 2024。它解决的核心问题是：如何让视频生成和4D生成（动态三维场景）相互促进，而不是割裂。传统方法要么先做视频再重建4D，要么独立生成，导致视频动态与4D几何不一致。Vidu4D提出一种互惠优化框架，在生成视频时利用4D几何信息约束运动一致性，在重建4D时又利用视频帧的丰富纹理和动态细节，两者交替迭代，最终同时提升视频质量和4D动态场景的保真度。项目基于动态高斯泼溅（Dynamic Gaussian Surfels）技术，支持从单目视频或文本提示生成动态4D场景，并输出可自由视角观看的视频。核心能力包括：文本/图像/视频驱动的4D生成、动态场景重建、以及视频与4D的联合优化。代码开源，基于Python实现，适合研究动态场景生成和视频生成的前沿方向。