OmniVAE

让AI同时生成音视频，跨模态对齐一步到位

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 6 🐛 待处理 1 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 101
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

OmniVAE 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队OpenMOSS
官网地址https://openmoss.ai/OmniVAE.github.io
GitHubhttps://github.com/OpenMOSS/OmniVAE
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型audio,audio-generation,audio-video,audio-video-generation,dit,multimodal-generation,representation-learning,vaes,variational-autoencoder,video,video-generation
GitHub 星标★ 101
上线时间2026-07-26 00:00:00
代码更新2026-11-09
仓库体积25.6 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数6

项目介绍

OmniVAE 是一个面向音视频联合生成的统一变分自编码器（VAE），旨在解决音频与视频模态在生成任务中难以对齐和协同建模的问题。它通过引入跨模态对齐机制，将音频和视频信息映射到统一的潜在空间，使得后续的扩散或自回归生成模型能够同时处理两种模态。核心能力包括：支持音视频联合编码与解码、跨模态特征对齐、以及为 DiT 等生成模型提供高效的潜在表示。项目基于 Python 实现，技术栈涵盖 VAE、DiT、多模态生成等，处于早期开发阶段，代码和文档尚在完善中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 101

核心亮点

  • 首创音视频联合VAE，支持双模态统一潜在空间
  • 跨模态对齐机制提升生成内容的时间与语义一致性
  • 适配DiT等主流生成框架，易于集成到现有pipeline

不足之处

  • 项目处于早期，文档和示例不完善
  • 依赖特定数据集和训练流程，复现门槛较高

适用场景

  • 音视频同步生成的AI内容创作工具
  • 多模态大模型预训练中的音视频编码模块
  • 影视级自动配音与画面生成系统

替代项目

VideoGPT、CogVideo、Make-A-Video

上一篇：Seedance-2.5-API

下一篇：DataMagic

同类项目推荐

ai-video-editor 开源

在浏览器里用 AI 技能直接剪视频，无需上传，保护隐私

Open-source, local-first video editor where creators and AI agents edit the same rea···

★ 954 2026-08-09
VChain 开源

给视频生成装上视觉思维链，让AI边想边生成，剧情更连贯。

[ACL 2026 Findings, ICCV 2025 Workshop Outstanding Paper Award] VChain: Chain-of-Vi···

★ 120 2026-08-09
timeline-studio 开源

AI 加持，让视频剪辑像打字一样简单

Timeline Studio - Video Editing with AI

★ 240 2026-08-09
EffectErase 开源

一键擦除视频物体，还能无缝插入新内容

[CVPR 2026 Highlight] EffectErase: Joint Video Object Removal and Insertion for High···

★ 171 2026-08-09
yt-short-clipper 开源

长视频一键变竖屏高光短片，自动追踪人脸加字幕

Windows desktop app that turns long-form YouTube videos into 9:16 short-form clips —···

★ 1074 2026-09-16
DataMagic 开源

上传表格，一键生成带旁白的动画数据视频

AI-powered data-to-video generation. Upload a table, get a narrated animated data st···

★ 388 2026-08-09
OnlyShot 开源

一句话生成完整短剧，五步直达红果抖音

OnlyShot · 神仙鱼 AI 短剧工业流水线 Claude Skill — 一句话 → 剧本/分镜/分镜图/视频···

★ 399 2026-08-09
ZJT 开源

输入创意，AI自动产出专业短剧视频

ZhiJuTong (ZJT) is an AI-powered, open-source platform specifically designed for cre···

★ 240 2026-08-09
kandinsky-6 开源

一句话生成带声音的视频，口型音效自动对上

Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation

★ 344 2026-10-09