TempoTokens

让音频直接驱动视频生成,对齐又多样

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 设计创意 🍴 复刻 14 🐛 待处理 3 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 130
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

TempoTokens 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类设计创意
开发团队guyyariv
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai-art,audio-to-video,audio-visual,deep-learning,diffusion-models,generative-ai,modelscope,pytorch,video-synthesis
GitHub 星标★ 130
上线时间2023-09-28 00:00:00
代码更新2026-05-18
仓库体积11.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

TempoTokens 是 AAAI 2024 论文的官方 PyTorch 实现,旨在解决音频到视频生成中多样性与对齐性的难题。它通过将文本到视频模型进行适应性改造,利用音频信号作为条件引导视频生成,使得生成的视频内容与输入音频在语义和节奏上高度匹配,同时保持内容的多样性。核心能力包括:音频特征提取与编码、基于文本到视频模型的微调适配、以及多样化的视频采样策略。项目提供了完整的训练和推理代码,适合研究音频驱动视频生成的研究人员使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 130

核心亮点

  • 官方实现,代码质量有保障,论文算法可直接复现
  • 创新性地将文本到视频模型适配到音频条件,技术路线新颖
  • 支持多样化的视频生成,避免内容单一

不足之处

  • 项目处于早期,文档和社区支持待观察
  • 依赖预训练文本到视频模型,部署门槛较高

适用场景

  • 音频驱动的创意视频自动生成
  • 音乐可视化与配乐视频制作
  • 多模态内容生成研究实验

替代项目

Audio2Video (Diffusion-based)、MM-Diffusion、Sound2Video

上一篇:timeline-studio

下一篇:deepdream-video-pytorch

同类项目推荐

Automated-Video-Generator 开源

一句话生成带配音字幕的成片视频

Agentic AI video generator — fully autonomous text-to-video pipeline with free TTS/···

★ 126 2026-11-02
ContentMachine 开源

输入一个主题,自动生成一部纪录片式视频,近乎可直接发布。

An all-in-one AI pipeline for creating cinematic, documentary-style videos from a si···

★ 131 2026-08-09
MindVideo 开源

用脑电波重建你看到的视频,解码视觉体验

Official code base for MinD-Video

★ 392 2026-08-09
deforum-kandinsky 开源

用 Kandinsky 模型快速生成 Deforum 风格短视频动画

Kandinsky x Deforum — generating short animations

★ 103 2026-08-09
Veo3-AI-Video-API 开源

用Veo 3和Sora生成视频,成本直降97%

AI Video Generator API — Veo 3, Openai Sora by GeminiGenAI. Create stunning AI vide···

★ 77 2026-08-09
t2v-turbo 开源

用一致性模型让文本秒变视频,采样快人一步

Code repository for T2V-Turbo and T2V-Turbo-v2

★ 310 2026-08-09
AI-NovelFlow 开源

丢一本小说进去,自动出分镜画面和视频

NovelFlow 是一个将小说自动转换为视频的 AI 平台。文生图、图生图、图生视频都是基于开源···

★ 117 2026-09-17
Sora 开源

用文本直接生成视频,复现 OpenAI 的 Sora 效果

Implementation of the premier Text to Video model from OpenAI

★ 56 2026-08-09
ai-video-generator 开源

输入想法,自动生成并发布短视频

AI agent to automatically generate and post short videos

★ 146 2026-08-09