TempoTokens

让音频直接驱动视频生成，对齐又多样

TempoTokens 是 AAAI 2024 论文的官方 PyTorch 实现，旨在解决音频到视频生成中多样性与对齐性的难题。它通过将文本到视频模型进行适应性改造，利用音频信号作为条件引导视频生成，使得生成的视频内容与输入音频在语义和节奏上高度匹配，同时保持内容的多样性。核心能力包括：音频特征提取与编码、基于文本到视频模型的微调适配、以及多样化的视频采样策略。项目提供了完整的训练和推理代码，适合研究音频驱动视频生成的研究人员使用。

开源 free 设计创意
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 130
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类设计创意
开发团队guyyariv
所属国家
官网地址https://pages.cs.huji.ac.il/adiyoss-lab/TempoTokens
GitHubhttps://github.com/guyyariv/TempoTokens
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai-art,audio-to-video,audio-visual,deep-learning,diffusion-models,generative-ai,modelscope,pytorch,video-synthesis
GitHub 星标★ 130
30天Star增速
HF 下载量
上线时间2023-09-28 00:00:00
最近更新2026-09-18 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 官方实现，代码质量有保障，论文算法可直接复现
  • 创新性地将文本到视频模型适配到音频条件，技术路线新颖
  • 支持多样化的视频生成，避免内容单一

不足之处

  • 项目处于早期，文档和社区支持待观察
  • 依赖预训练文本到视频模型，部署门槛较高

适用场景

  • 音频驱动的创意视频自动生成
  • 音乐可视化与配乐视频制作
  • 多模态内容生成研究实验

替代项目

Audio2Video (Diffusion-based)、MM-Diffusion、Sound2Video

项目介绍

TempoTokens 是视频领域的开源项目，由 guyyariv 开发，2023 年首次发布。

它收录于视频分类，该分类目前共有 473 个项目，GitHub 星标数为 130。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：音频驱动的创意视频自动生成。同类可对比的替代方案包括 Audio2Video (Diffusion-based)、MM-Diffusion、Sound2Video。

上一篇：timeline-studio

下一篇：deepdream-video-pytorch

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话，高清短视频自动出炉，文案配音全包了

利用 AI 大模型和自动化工作流，根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0，文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示，替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作，生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09