OmniVAE

让AI同时生成音视频,跨模态对齐一步到位

OmniVAE 是一个面向音视频联合生成的统一变分自编码器(VAE),旨在解决音频与视频模态在生成任务中难以对齐和协同建模的问题。它通过引入跨模态对齐机制,将音频和视频信息映射到统一的潜在空间,使得后续的扩散或自回归生成模型能够同时处理两种模态。核心能力包括:支持音视频联合编码与解码、跨模态特征对齐、以及为 DiT 等生成模型提供高效的潜在表示。项目基于 Python 实现,技术栈涵盖 VAE、DiT、多模态生成等,处于早期开发阶段,代码和文档尚在完善中。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 86
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队OpenMOSS
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio,audio-generation,audio-video,audio-video-generation,dit,multimodal-generation,representation-learning,vaes,variational-autoencoder,video,video-generation
GitHub 星标★ 86
30天Star增速
HF 下载量
上线时间2026-07-26 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 首创音视频联合VAE,支持双模态统一潜在空间
  • 跨模态对齐机制提升生成内容的时间与语义一致性
  • 适配DiT等主流生成框架,易于集成到现有pipeline

不足之处

  • 项目处于早期,文档和示例不完善
  • 依赖特定数据集和训练流程,复现门槛较高

适用场景

  • 音视频同步生成的AI内容创作工具
  • 多模态大模型预训练中的音视频编码模块
  • 影视级自动配音与画面生成系统

替代项目

VideoGPT、CogVideo、Make-A-Video

项目介绍

OmniVAE 是视频领域的开源项目,由 OpenMOSS 开发,是 2026 年新上线的项目。

它收录于视频分类,该分类目前共有 473 个项目,GitHub 星标数为 86。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。Apache-2.0许可证,可免费使用和部署。

它主要面向的使用场景是:音视频同步生成的AI内容创作工具。同类可对比的替代方案包括 VideoGPT、CogVideo、Make-A-Video。

上一篇:Seedance-2.5-API

下一篇:DataMagic

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
MagicDance 开源

一张图+任意动作,生成身份不变的逼真人物视频

[ICML 2024] MagicPose(also known as MagicDance): Realistic Human Poses and Facial Ex···

★ 777 2026-08-09