OmniCustom

给参考人和声音,生成音画同步的定制视频

OmniCustom 是论文《OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model》的官方实现,聚焦于音视频联合定制生成。它解决的问题是:现有定制化生成方法通常只处理单一模态,难以在给定参考人物/声音后同时生成口型、表情、动作与声音都同步的个性化视频。项目基于联合音视频生成模型,通过定制化微调或适配,让用户用少量参考素材就能驱动模型产出主体一致、音画对齐的视频内容。核心能力包括音视频联合建模、主体身份保持、跨模态同步约束,以及面向定制场景的训练与推理脚本。代码以 Python 编写,目前处于早期阶段,星标约 425,适合研究者复现论文、做音视频定制方向实验,或在此基础上开发数字人、虚拟主播类应用。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 425
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队OmniCustom-project
所属国家
官网地址
定价模式free
价格说明开源代码,免费使用
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型
GitHub 星标★ 425
30天Star增速
HF 下载量
上线时间2026-02-06 00:00:00
最近更新2026-09-21 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-29
浏览次数0

使用教程

核心亮点

  • 同时处理音频与视频两个模态,强调口型、表情与声音的同步一致性,而非单模态定制
  • 提供论文官方实现,包含训练/推理代码,便于研究者复现与二次开发
  • 面向定制化场景,可用少量参考素材保持主体身份,适合数字人与虚拟形象方向

不足之处

  • 早期项目,文档与使用说明可能不完整,上手需要一定研究能力
  • 依赖联合音视频生成模型,推理与训练对算力和显存要求较高

适用场景

  • 学术研究:复现音视频联合定制生成论文,做消融与对比实验
  • 数字人/虚拟主播:用参考人物与声音生成口型同步的定制视频
  • 内容创作:为已有音频匹配个性化人物形象,快速产出同步短视频

替代项目

Hallo、EchoMimic、MuseTalk

项目介绍

OmniCustom 是视频领域的开源项目,由 OmniCustom-project 开发,是 2026 年新上线的项目。

它收录于视频分类,该分类目前共有 503 个项目,GitHub 星标数为 425。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-21。开源代码,免费使用。

它主要面向的使用场景是:学术研究:复现音视频联合定制生成论文,做消融与对比实验。同类可对比的替代方案包括 Hallo、EchoMimic、MuseTalk。

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 126059 2026-08-09
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3257 2026-08-10
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4281 2026-08-10