lumiere-pytorch

用 PyTorch 复现谷歌 Lumiere，一键生成连贯视频

lumiere-pytorch 是 Google DeepMind 提出的 Lumiere 文本生成视频模型的开源 PyTorch 实现。Lumiere 是一种基于扩散模型的视频生成架构，通过时空 U-Net（STUNet）在单一模型中同时处理空间和时间维度，实现一次性生成完整视频，而非逐帧合成，从而保证运动连贯性和时间一致性。该项目旨在复现这一 SOTA 模型，为研究者和开发者提供可直接使用的训练和推理代码。核心能力包括：文本条件视频生成、时空降噪扩散、多分辨率支持等。目前项目处于早期阶段，代码结构清晰，但功能尚不完整，主要用于学术研究和原型验证。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 281
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队lucidrains
所属国家
官网地址
GitHubhttps://github.com/lucidrains/lumiere-pytorch
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,deep-learning,denoising-diffusion,text-to-video
GitHub 星标★ 281
30天Star增速
HF 下载量
上线时间2024-02-05 00:00:00
最近更新2026-08-20 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4

使用教程

核心亮点

  • 基于官方论文精确复现，架构忠实于 STUNet 时空 U-Net 设计
  • 代码模块化清晰，便于二次开发和集成到现有扩散模型流程
  • 支持文本条件生成，提供基础训练和推理示例

不足之处

  • 项目处于早期阶段，功能不完整，部分模块未实现或需自行补全
  • 缺乏预训练权重，用户需自行训练模型，成本高
  • 文档/社区待观察

适用场景

  • 学术研究：复现 Lumiere 算法，探索时空扩散模型
  • 原型验证：快速验证文本到视频生成想法
  • 教学演示：学习 SOTA 视频生成模型架构

替代项目

VideoFusion、ModelScope Text-to-Video、CogVideo

项目介绍

lumiere-pytorch 是视频领域的开源项目，由 lucidrains 开发，2024 年首次发布。

它收录于视频分类，该分类目前共有 473 个项目，GitHub 星标数为 281。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-20。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：学术研究：复现Lumiere算法，探索时空扩散模型。同类可对比的替代方案包括 VideoFusion、ModelScope Text-to-Video、CogVideo。

上一篇：TATS

下一篇：Open-AI-UGC

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话，高清短视频自动出炉，文案配音全包了

利用 AI 大模型和自动化工作流，根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0，文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示，替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作，生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09