NWT-pytorch

用音频驱动生成同步视频,快速上手跨模态生成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 8 🐛 待处理 1 👀 关注 11
GitHub ↗
GitHub 星标 ★ 92
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,无付费版本。

项目预览

NWT-pytorch 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队lucidrains
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型artificial-intelligence,audio,deep-learning,video-generation
GitHub 星标★ 92
上线时间2021-06-09 00:00:00
代码更新2022-03-17
仓库体积11 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

NWT-pytorch 是 NWT(Neural Waveform Transform)模型的非官方 PyTorch 实现,专注于音频到视频的生成任务。该项目旨在将音频信号(如语音、音乐)作为输入,生成与之同步的逼真视频帧,解决跨模态内容生成中的音画同步问题。核心能力包括:基于深度学习的音频特征提取与视频帧生成、时序对齐机制,以及端到端的训练与推理流程。项目代码结构清晰,提供了模型定义、训练脚本和示例,便于研究者复现和二次开发。目前项目处于早期阶段,星标数较少,但为音频驱动视频生成领域提供了一个可用的 PyTorch 参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 92

核心亮点

  • 提供完整的 PyTorch 实现,代码结构清晰,易于阅读和修改
  • 专注于音频到视频生成,解决音画同步这一具体场景问题
  • 包含训练和推理脚本,适合作为研究基线或二次开发起点

不足之处

  • 文档/社区待观察
  • 项目处于早期阶段,功能可能不完整,依赖配置需自行摸索

适用场景

  • 学术研究:音频驱动视频生成的算法验证与对比
  • 创意内容制作:根据音乐或语音自动生成视觉画面
  • 多模态学习:探索音频与视频特征对齐的技术方案

替代项目

Wav2Lip、Speech2Vid、MakeItTalk

同类项目推荐

uncensored-nsfw-ai-video-api 开源

给成人向应用接入文生/图生视频 API 的文档与计费方案

Uncensored NSFW API for AI video generation — Seedance Spicy & Wan NSFW docs: 18+ t···

★ 426 2026-11-06
open-director 开源

一句话生成完整视频,AI 导演全自动,还能批量生产短视频。

开源 AI 视频工作室 — 从一句话到成片。支持创意模式(AI 导演全流程自动生成)和批量模式···

★ 130 2026-08-09
deepdream-video-pytorch 开源

用DeepDream给视频加特效,不闪不抖,流畅梦幻

DeepDream for video with temporal consistency. Features RAFT optical flow estimation···

★ 62 2026-08-09
VideoElevator 开源

不训练,直接提升视频生成画质和细节

[AAAI 2025] Official pytorch implementation of "VideoElevator: Elevating Video Gener···

★ 163 2026-08-09
awesome-seedance-2-prompts 开源

2000+精选提示词,让 Seedance 视频生成更专业

2000+ curated Seedance 2.0 video generation prompts — cinematic, anime, UGC, ads, m···

★ 2207 2026-08-09
LongLive-RAG 开源

用检索增强技术,让AI生成更长的连贯视频

Official Implementation of LongLive-RAG: A general retrieval-augmented framework for···

★ 115 2026-08-09
UniAnimate-DiT 开源

上传一张图,让照片里的人物动起来,生成自然流畅的动画视频。

UniAnimate-DiT: Human Image Animation with Large-Scale Video Diffusion Transformer

★ 856 2026-08-09
sd_loopback_music_sync_wave 开源

上传音乐,自动生成与节拍同步的循环视频

AUTOMATIC1111 UI extension for creating videos synchronized to music.

★ 62 2026-08-09
text-leech-bot 开源

把文本列表批量变成视频,自动传到 Telegram

Help to upload videos of any list in text form

★ 90 2026-08-09