AlayaRenderer

用扩散模型直接渲染游戏世界,告别传统管线

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 20 🐛 待处理 4 👀 关注 14
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 654
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,可免费使用和部署。

项目预览

AlayaRenderer 项目界面预览图
图片来源:项目官网

项目数据

分类视频生成
开发团队AlayaLab
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-model,g-buffer,game-rendering,inverse-rendering,neural-rendering,video-diffusion,video-generation
GitHub 星标★ 654
上线时间2026-04-02 00:00:00
代码更新2026-05-05
仓库体积11.3 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

AlayaRenderer 是一个面向游戏和虚拟世界的生成式世界渲染器,定位为 AI 原生渲染管线。它利用扩散模型和 G-buffer 技术,将传统渲染流程与视频生成模型结合,解决游戏场景中动态内容生成和渲染一致性问题。核心能力包括基于 G-buffer 的神经渲染、逆渲染(从图像恢复场景属性)以及视频扩散模型驱动的时序内容生成。项目旨在替代或增强传统光栅化/光线追踪管线,使开发者能够通过 AI 生成逼真的动态场景,同时保持几何和材质的可控性。其技术栈涵盖 diffusion-model、neural-rendering 和 video-generation,适合探索下一代游戏渲染和虚拟世界构建。目前处于早期阶段,代码和文档尚在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 654

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 120 分钟 部署方式:本地GPU 5 步

环境要求

  • GPU 24G 显存以上
  • CUDA 与对应编译工具
  • 各任务独立环境

安装与启动步骤

  1. 1带子模块 clone

    仓库依赖子模块,不加递归参数会缺模块,编译直接失败。

    git clone --recurse-submodules https://github.com/ShandaAI/AlayaRenderer.git
  2. 2按模型分环境

    官方明确建议每个模型单独一个 conda 环境,依赖互相冲突。

  3. 3下对应权重

    逆渲染和游戏编辑是两个任务,权重不通用,按要跑的那个下。

  4. 4单卡跑推理

    用环境变量指定卡号,避免和别的任务抢显存。

    CUDA_VISIBLE_DEVICES=0 python
  5. 5看输出的可编辑资源

    它出的是可再编辑的材质与光照参数,不只是渲染结果图。

如何确认成功

推理能产出一组可编辑的材质与光照参数文件,重渲染结果与原图接近

注意事项

  • 两个任务的输入格式差别很大,别混用配置文件。
  • 子模块版本错位是最高频的报错来源,clone 后先核对。
  • 逆渲染的主观评价要看成因分解是否合理,不只看重建误差。

核心亮点

  • 创新性地将 G-buffer 与扩散模型结合,实现几何与外观解耦的 AI 渲染
  • 支持逆渲染,可从图像反推场景属性,便于内容编辑和重打光
  • 面向视频生成,能产出时序一致的动态场景,适合虚拟世界

不足之处

  • 项目处于早期,文档和社区生态待观察
  • 依赖大规模计算资源,实时性可能受限

适用场景

  • 游戏引擎中替代传统光照渲染,生成动态环境
  • 虚拟世界(如元宇宙)的实时场景构建
  • 影视预可视化或动态数字人背景生成

替代项目

NVIDIA Kaolin、PyTorch3D、ThreeStudio

上一篇:HumanVid

下一篇:video-to-video

同类项目推荐

improved-video-gan 开源

用GAN生成更连贯真实的视频,支持多任务扩展

GitHub repository for "Improving Video Generation for Multi-functional Applications"

★ 329 2026-08-09
Ground-A-Video 开源

用一句话描述,让视频编辑像改图一样简单

Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Model···

★ 140 2026-08-09
ZJT 开源

输入创意,AI自动产出专业短剧视频

ZhiJuTong (ZJT) is an AI-powered, open-source platform specifically designed for cre···

★ 240 2026-08-09
openclip 开源

长视频自动剪出高光片段,省去逐帧筛选

OpenClip - AI-powered highlight extraction for long videos (AI 驱动的长视频精彩时刻提···

★ 578 2026-09-16
JoyAI-Video-Edit 开源

边看边改,自然语言实时编辑视频

[Official Repo] JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregres···

★ 2052 2026-10-29
panacea 开源

一键生成自动驾驶全景视频,可控又逼真

[CVPR2024] Official Repository of Paper "Panacea: Panoramic and Controllable Video G···

★ 263 2026-08-09
novella 开源

输入小说,一键生成 4K 漫剧视频

端到端 AI 漫剧 / 动画短剧 Multi-Agent 多智能体协作创作平台 (Kineo AI)。基于 Hub-and-···

★ 134 2026-08-09
AMT 开源

一键补帧,让视频更丝滑,慢动作轻松生成

Official code for "AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpo···

★ 276 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 259 2026-08-26