项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 654
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- GPU 24G 显存以上
- CUDA 与对应编译工具
- 各任务独立环境
安装与启动步骤
-
1带子模块 clone
仓库依赖子模块,不加递归参数会缺模块,编译直接失败。
git clone --recurse-submodules https://github.com/ShandaAI/AlayaRenderer.git -
2按模型分环境
官方明确建议每个模型单独一个 conda 环境,依赖互相冲突。
-
3下对应权重
逆渲染和游戏编辑是两个任务,权重不通用,按要跑的那个下。
-
4单卡跑推理
用环境变量指定卡号,避免和别的任务抢显存。
CUDA_VISIBLE_DEVICES=0 python -
5看输出的可编辑资源
它出的是可再编辑的材质与光照参数,不只是渲染结果图。
如何确认成功
推理能产出一组可编辑的材质与光照参数文件,重渲染结果与原图接近
注意事项
- 两个任务的输入格式差别很大,别混用配置文件。
- 子模块版本错位是最高频的报错来源,clone 后先核对。
- 逆渲染的主观评价要看成因分解是否合理,不只看重建误差。
核心亮点
- 创新性地将 G-buffer 与扩散模型结合,实现几何与外观解耦的 AI 渲染
- 支持逆渲染,可从图像反推场景属性,便于内容编辑和重打光
- 面向视频生成,能产出时序一致的动态场景,适合虚拟世界
不足之处
- 项目处于早期,文档和社区生态待观察
- 依赖大规模计算资源,实时性可能受限
适用场景
- 游戏引擎中替代传统光照渲染,生成动态环境
- 虚拟世界(如元宇宙)的实时场景构建
- 影视预可视化或动态数字人背景生成
替代项目
NVIDIA Kaolin、PyTorch3D、ThreeStudio
上一篇:HumanVid
下一篇:video-to-video
同类项目推荐
improved-video-gan
开源
用GAN生成更连贯真实的视频,支持多任务扩展
GitHub repository for "Improving Video Generation for Multi-functional Applications"
Ground-A-Video
开源
用一句话描述,让视频编辑像改图一样简单
Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Model···
ZJT
开源
输入创意,AI自动产出专业短剧视频
ZhiJuTong (ZJT) is an AI-powered, open-source platform specifically designed for cre···
openclip
开源
长视频自动剪出高光片段,省去逐帧筛选
OpenClip - AI-powered highlight extraction for long videos (AI 驱动的长视频精彩时刻提···
JoyAI-Video-Edit
开源
边看边改,自然语言实时编辑视频
[Official Repo] JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregres···
panacea
开源
一键生成自动驾驶全景视频,可控又逼真
[CVPR2024] Official Repository of Paper "Panacea: Panoramic and Controllable Video G···
novella
开源
输入小说,一键生成 4K 漫剧视频
端到端 AI 漫剧 / 动画短剧 Multi-Agent 多智能体协作创作平台 (Kineo AI)。基于 Hub-and-···
AMT
开源
一键补帧,让视频更丝滑,慢动作轻松生成
Official code for "AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpo···
seedance-2.0-api
开源
快速上手字节Seedance 2.0,文本/图片一键生成视频
Seedance 2.0 API — text-to-video and image-to-video examples
