Vidu4D

视频与4D互惠优化,生成动态场景更真实

开源 🏷️定价信息待确认 ✅ 目前可打开 视频生成 🍴 复刻 12 🐛 待处理 1 👀 关注 19
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 371
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

Vidu4D 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队yikaiw
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型4d-generation,4d-reconstruction,dynamic-gaussian-surfels,video-generation,video4dgen,vidu4d
GitHub 星标★ 371
上线时间2024-05-24 00:00:00
代码更新2025-01-12
仓库体积44.1 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

Vidu4D(Video4DGen)是一个面向视频与4D内容生成的开源项目,由北大和生数科技联合提出,发表于TPAMI 2025和NeurIPS 2024。它解决的核心问题是:如何让视频生成和4D生成(动态三维场景)相互促进,而不是割裂。传统方法要么先做视频再重建4D,要么独立生成,导致视频动态与4D几何不一致。Vidu4D提出一种互惠优化框架,在生成视频时利用4D几何信息约束运动一致性,在重建4D时又利用视频帧的丰富纹理和动态细节,两者交替迭代,最终同时提升视频质量和4D动态场景的保真度。项目基于动态高斯泼溅(Dynamic Gaussian Surfels)技术,支持从单目视频或文本提示生成动态4D场景,并输出可自由视角观看的视频。核心能力包括:文本/图像/视频驱动的4D生成、动态场景重建、以及视频与4D的联合优化。代码开源,基于Python实现,适合研究动态场景生成和视频生成的前沿方向。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 371

核心亮点

  • 提出视频与4D生成互惠优化框架,双向提升质量,而非单向级联
  • 支持文本/图像/视频多种输入驱动动态4D场景生成,适用性广
  • 基于动态高斯泼溅,重建效率高且能保持几何与纹理一致性

不足之处

  • 项目处于早期阶段,文档和社区支持待观察
  • 依赖大规模计算资源,普通开发者复现门槛较高

适用场景

  • 影视特效中快速生成动态三维场景
  • 虚拟现实/游戏中的动态内容创作
  • 学术研究:视频生成与4D重建的联合优化

替代项目

DreamGaussian4D、4DGen、Consistent4D

上一篇:DrivingWorld

下一篇:KineTy

同类项目推荐

ez-text2video 开源

低配显卡也能跑文本生成视频,自定义时长和分辨率

Easily run text-to-video diffusion with customized video length, fps, and dimensions···

★ 114 2026-08-09
svor 开源

用扩散模型一键抹掉视频里的物体,背景自动补全

SVOR - Stable Video Object Removal

★ 134 2026-08-09
open-genie 开源

复现交互式世界模型,让 AI 生成可玩的视频环境

Pytorch implementation of "Genie: Generative Interactive Environments", Bruce et al.···

★ 296 2026-08-09
StyleSV 开源

用 StyleGAN 让视频合成平滑不闪烁,帧帧自然衔接

[ICLR 2023] Towards Smooth Video Composition

★ 84 2026-08-09
PersonaLive 开源

一张照片当主播,表情动作自然播

[CVPR 2026] PersonaLive! : Expressive Portrait Image Animation for Live Streaming

★ 4108 2026-08-09
showtime 开源

一句话让编程智能体在本机直接剪出视频

A local video studio for your coding agent. Describe a video in one sentence: your a···

★ 323 2026-10-24
comfyUI-LongLook 开源

给 ComfyUI 装上 FreeLong 长视频生成增强引擎,让 Wan 视频更连贯

A ComfyUI node pack that implements FreeLong (NeurIPS 2024) spectral blending for Wa···

★ 168 2026-08-09
SoraFlows 开源

让 Sora 视频生成开箱即用,提供 WebUI 和 API 一站式解决方案。

The most powerful and modular Sora WebUI, api and backend with OpenAI's Sora Model. ···

★ 185 2026-08-09