transframer-pytorch

用 U-Net+Transformer 生成 30 秒连贯视频

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 5 🐛 待处理 3 👀 关注 2
GitHub ↗
GitHub 星标 ★ 73
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署。

项目预览

transframer-pytorch 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队lucidrains
GitHubhttps://github.com/lucidrains/transframer-pytorch
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,attention-mechanisms,deep-learning,transformers,unet,video-generation
GitHub 星标★ 73
上线时间2022-08-17 00:00:00
代码更新2022-08-23
仓库体积163 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

Transframer-pytorch 是 DeepMind 提出的 Transframer 架构的非官方 PyTorch 实现，用于生成最长 30 秒的视频。它结合了 U-Net 和 Transformer 两种主流架构，利用注意力机制捕捉时序依赖，通过自回归方式逐帧预测未来帧。该项目解决了传统视频生成模型难以处理长序列、计算开销大、连贯性差的问题，核心能力包括基于条件帧的预测、多帧联合生成以及灵活的输入输出配置。作为早期研究代码，它提供了清晰的模块化设计，便于研究者复现论文实验或在此基础上进行二次开发。不过，项目尚处于早期阶段，未提供预训练权重，实际使用需要自行训练，且对计算资源要求较高。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 73

核心亮点

  • 完整复现 DeepMind 论文架构，代码结构清晰，便于研究对比
  • 支持长视频生成（最长 30 秒），突破常见模型短片段限制
  • 模块化设计，U-Net 与 Transformer 可独立替换，方便实验扩展

不足之处

  • 未提供预训练权重，需从零训练，成本高
  • 文档较少，示例和教程不完善，上手门槛较高

适用场景

  • 学术研究：复现论文实验，探索长视频生成新方法
  • 创意内容：生成短视频片段，辅助动画或特效预演
  • 数据增强：为合成数据集生成连续帧，用于训练其他模型

替代项目

VideoGPT、CogVideo、NUWA

上一篇：Music-Dance-Video-Synthesis

下一篇：flexible-diffusion-modeling-videos-pytorch

同类项目推荐

JoyAI-Video-Edit 开源

边看边改，自然语言实时编辑视频

[Official Repo] JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregres···

★ 2059 2026-10-29
HiAR 开源

长视频生成不跑偏，告别画面漂移

[ECCV 2026] sink-free, anti-drift causal AR Video Generation

★ 158 2026-08-09
InteractiveVideo 开源

用多模态指令随心操控视频生成，让创意精准落地

InteractiveVideo: User-Centric Controllable Video Generation with Synergistic Multim···

★ 133 2026-08-09
lumiere-pytorch 开源

用 PyTorch 复现谷歌 Lumiere，一键生成连贯视频

Implementation of Lumiere, SOTA text-to-video generation from Google Deepmind, in Py···

★ 281 2026-08-09
dsh-video-storyboard 开源

长视频压成一张分镜图，AI 一眼看懂

Scene-aware storyboard for DeepSeek Harness: 9-16 numbered cells with timestamps + t···

★ 488 2026-11-06
WACV23_TSNet 开源

一键把视频动作迁移到任何人身上，生成逼真换脸视频

The pytorch implementation of our WACV23 paper "Cross-identity Video Motion Retarget···

★ 148 2026-08-09
MMVID 开源

输入文字和图片，自动生成匹配的动态视频

[CVPR 2022] Show Me What and Tell Me How: Video Synthesis via Multimodal Conditionin···

★ 191 2026-08-09
Stable-Video-Infinity 开源

让视频扩散模型无限延长也不崩坏

[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Re···

★ 2620 2026-09-29
latentblending 开源

让 AI 图像在提示词间丝滑变身，轻松生成过渡动画。

Create butter-smooth transitions between prompts, powered by stable diffusion

★ 364 2026-08-09