DiffusionAsShader

像写着色器一样控制视频生成,相机、物体、运动随心调

DiffusionAsShader 是 SIGGRAPH 2025 论文的官方实现,提出将视频扩散模型视为可编程着色器,实现 3D 感知的视频生成控制。它解决传统视频生成中相机运动、物体操作和运动迁移难以精确控制的问题,通过将 3D 控制信号注入扩散过程,让用户像编写着色器一样灵活控制视频内容。核心能力包括:相机轨迹控制、物体 3D 操作(旋转/平移/缩放)、运动重定向与迁移,以及基于 3D 感知的编辑。项目基于 Python 和 PyTorch,提供推理代码和预训练模型,支持从单张图像生成受控视频,适用于动画制作、虚拟制片和内容创作等场景。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 840
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队IGL-HKUST
所属国家
定价模式free
价格说明开源项目,提供在线演示页面,可免费体验,代码开源,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型3d-generation,camera-control,motion-retargeting,motion-transfer,object-manipulation,video-generation
GitHub 星标★ 840
30天Star增速
HF 下载量
上线时间2025-01-07 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

核心亮点

  • 支持精细的相机轨迹控制,可生成 3D 感知的视角变化视频
  • 提供物体操作与运动重定向能力,实现复杂动作迁移
  • 基于 SIGGRAPH 2025 论文,技术方案经过学术验证

不足之处

  • 文档/社区待观察
  • 依赖较多 3D 视觉库,环境配置门槛较高

适用场景

  • 影视预演与虚拟制片,快速生成带相机运动的镜头
  • 动画角色动作迁移,将参考动作应用到新角色
  • 电商产品展示,控制物体旋转生成动态展示视频

替代项目

AnimateDiff、MotionCtrl、CameraCtrl

项目介绍

DiffusionAsShader 是视频领域的开源项目,由 IGL-HKUST 开发,2025 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(840)位列前 30%,在视频分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。提供在线演示页面,可免费体验,代码开源,无付费版本。从国内网络环境看,可直接访问。

它主要面向的使用场景是:影视预演与虚拟制片,快速生成带相机运动的镜头。同类可对比的替代方案包括 AnimateDiff、MotionCtrl、CameraCtrl。

上一篇:MIMO

下一篇:TeaCache

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作,生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09