OmniCustom

给参考人和声音，生成音画同步的定制视频

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署视频生成 🍴 复刻 6 🐛 待处理 4

GitHub ↗

GitHub 星标 ★ 420

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源代码，免费使用

项目预览

项目数据

分类视频生成

开发团队OmniCustom-project

GitHubhttps://github.com/OmniCustom-project/OmniCustom

定价模式🏷️完全免费

价格说明开源代码，免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

主要语言Python

GitHub 星标★ 420

上线时间2026-02-06 00:00:00

代码更新2026-09-21

仓库体积125.5 MB

本站数据更新2026-11-12

维护状态维护中

收录时间2026-09-29

浏览次数1

项目介绍

OmniCustom 是论文《OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model》的官方实现，聚焦于音视频联合定制生成。它解决的问题是：现有定制化生成方法通常只处理单一模态，难以在给定参考人物/声音后同时生成口型、表情、动作与声音都同步的个性化视频。项目基于联合音视频生成模型，通过定制化微调或适配，让用户用少量参考素材就能驱动模型产出主体一致、音画对齐的视频内容。核心能力包括音视频联合建模、主体身份保持、跨模态同步约束，以及面向定制场景的训练与推理脚本。代码以 Python 编写，目前处于早期阶段，星标约 425，适合研究者复现论文、做音视频定制方向实验，或在此基础上开发数字人、虚拟主播类应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-29 · 当前星标 ★ 420

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 60 分钟部署方式：本地GPU 5 步

环境要求

NVIDIA GPU（显存 24GB 起）
CUDA

安装与启动步骤

1拉仓库

研究代码，输入是参考图加参考音频。
```
git clone https://github.com/OmniCustom-project/OmniCustom.git
```
2建环境

官方指定 Python 3.10。
```
conda create -n omnicustom python=3.10
```
3装依赖与权重

权重不随仓库分发，按说明下载。
4跑一次生成

给一张人像与一段音频，看口型与身份是否同时保住。
5对比换音频后的表现

换一段不同语速的音频，看是否崩。