nuwa-pytorch

用文本生成视频的PyTorch实现，体验女娲模型

NUWA（女娲）是微软提出的多模态预训练模型，支持文本到视频、文本到图像及视频预测等任务。此项目为NUWA的PyTorch非官方实现，基于3D Transformer和3D Nearby Attention（3DNA）机制，通过VQVAE将视频和图像编码为离散token，再以自回归方式生成视频。它解决了文本到视频合成中时空一致性和计算效率问题，核心能力包括文本条件视频生成、图像动画化及视频预测。项目代码结构清晰，提供推理示例，适合研究者和开发者快速体验NUWA架构。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 547
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队lucidrains
所属国家
官网地址
GitHubhttps://github.com/lucidrains/nuwa-pytorch
定价模式free
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,attention-mechanism,deep-learning,text-to-audio,text-to-video,transformers
GitHub 星标★ 547
30天Star增速
HF 下载量
上线时间2021-11-28 00:00:00
最近更新2026-09-08 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1

使用教程

核心亮点

  • 完整实现NUWA核心架构，含3D注意力机制和VQVAE
  • 提供文本到视频、图像动画、视频预测多任务示例
  • 代码模块化，易于扩展和二次开发

不足之处

  • 非官方实现，可能未完全对齐原论文细节
  • 依赖预训练权重，但未提供下载链接

适用场景

  • 学术研究：复现NUWA模型用于多模态生成实验
  • 创意内容：根据文本描述快速生成短视频素材
  • 教学演示：学习3D Transformer在视频生成中的应用

替代项目

CogVideo、VideoGPT、TATS

项目介绍

nuwa-pytorch 是开源模型领域的开源项目，由 lucidrains 开发，2021 年首次发布。

它收录于开源模型分类，该分类目前共有 424 个项目，GitHub 星标数为 547。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-08。MIT许可证，完全免费，需自行部署使用。

它主要面向的使用场景是：学术研究：复现NUWA模型用于多模态生成实验。同类可对比的替代方案包括 CogVideo、VideoGPT、TATS。

上一篇：AI-Ecosystem

下一篇：ContextDiff

同类项目推荐

Machine-Learning 开源

跟着博客笔记，边看边跑机器学习代码

All content related to machine learning from my blog

★ 115 2026-08-09
awesome-ltx2 开源

找齐 LTX-2 模型、工作流和 LoRA，一键上手视频生成。

All available LTX-2 models, encoders, workflows, LoRAs for ComfyUI

★ 593 2026-08-10