DiffusionAsShader

像写着色器一样控制视频生成，相机、物体、运动随心调

开源 🏷️完全免费 ✅ 目前可打开 视频生成 🍴 复刻 39 🐛 待处理 24 👀 关注 44
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 851
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，提供在线演示页面，可免费体验，代码开源，无付费版本。

项目预览

DiffusionAsShader 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队IGL-HKUST
官网地址https://igl-hkust.github.io/das
GitHubhttps://github.com/IGL-HKUST/DiffusionAsShader
定价模式🏷️完全免费
价格说明开源项目，提供在线演示页面，可免费体验，代码开源，无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型3d-generation,camera-control,motion-retargeting,motion-transfer,object-manipulation,video-generation
GitHub 星标★ 851
上线时间2025-01-07 00:00:00
代码更新2025-06-09
仓库体积32.2 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

DiffusionAsShader 是 SIGGRAPH 2025 论文的官方实现，提出将视频扩散模型视为可编程着色器，实现 3D 感知的视频生成控制。它解决传统视频生成中相机运动、物体操作和运动迁移难以精确控制的问题，通过将 3D 控制信号注入扩散过程，让用户像编写着色器一样灵活控制视频内容。核心能力包括：相机轨迹控制、物体 3D 操作（旋转/平移/缩放）、运动重定向与迁移，以及基于 3D 感知的编辑。项目基于 Python 和 PyTorch，提供推理代码和预训练模型，支持从单张图像生成受控视频，适用于动画制作、虚拟制片和内容创作等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 851

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 50 分钟 部署方式：本地安装 4 步

环境要求

  • NVIDIA GPU 24G 显存以上
  • Python 3.10
  • CUDA 11.8

安装与启动步骤

  1. 1建环境

    把扩散模型烘进着色器，Python 3.10。

    git clone https://github.com/IGL-HKUST/DiffusionAsShader.git
conda create -n das python=3.10 && conda activate das
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu118

  2. 2装依赖与子模块

    MoGe 与 vggt 用于几何先验。

    pip install -r requirements.txt
pip install git+https://github.com/asomoza/image_gen_aux.git
git clone https://github.com/microsoft/MoGe.git submodules/MoGe

  3. 3起界面

    webui 里选网格与提示词，指定 gpu id。

    python webui.py --gpu 0

  4. 4命令行批处理

    批量贴图直接用 demo.py。

    python demo.py --input assets/mesh.obj --prompt "brushed steel"

如何确认成功

导出的贴图套回模型后材质与提示词一致。

注意事项

  • 它是给已有 3D 模型生成 PBR 贴图，不负责建模。
  • 网格 UV 不规整时效果会打折，先检查 UV。

核心亮点

  • 支持精细的相机轨迹控制，可生成 3D 感知的视角变化视频
  • 提供物体操作与运动重定向能力，实现复杂动作迁移
  • 基于 SIGGRAPH 2025 论文，技术方案经过学术验证

不足之处

  • 文档/社区待观察
  • 依赖较多 3D 视觉库，环境配置门槛较高

适用场景

  • 影视预演与虚拟制片，快速生成带相机运动的镜头
  • 动画角色动作迁移，将参考动作应用到新角色
  • 电商产品展示，控制物体旋转生成动态展示视频

替代项目

AnimateDiff、MotionCtrl、CameraCtrl

上一篇：MIMO

下一篇：TeaCache

同类项目推荐

ReImagine 开源

上传照片和动作，一键生成人物视频

Official implementation of ReImagine

★ 76 2026-08-09
LightX2V 开源

把静态图变动态视频，轻量推理快人一步

Lightweight Image Video Action Generation Inference Framework

★ 2997 2026-08-09
FluidFrames 开源

一键把低帧视频变丝滑，显卡加速不用写代码

FluidFrames | video AI frame-generation app

★ 280 2026-10-09
StoryGen-Atelier 开源

输入故事创意，自动生成分镜、过渡片段并拼成视频

AI-assisted storyboard and video generation tool. Uses Gemini for generating storybo···

★ 1011 2026-09-29
narrator-ai-cli 开源

终端敲一敲，解说视频自动生成

AI 解说大师 — CLI 客户端；用于终端调用视频解说生成 API

★ 149 2026-08-09
ai-video-production-editor 开源

一个桌面应用里完成 AI 分镜、生成与剪辑全流程

Open-source AI video production editor for filmmakers and AI artists. React + Electr···

★ 174 2026-10-23
redditube 开源

把 Reddit 热帖一键变成视频，自动配音加字幕

A video generator from Reddit posts and comments

★ 64 2026-08-09
MotionDirector 开源

上传参考视频，用文本定制生成专属动作视频

[ECCV 2024 Oral] MotionDirector: Motion Customization of Text-to-Video Diffusion Mod···

★ 1063 2026-08-09