项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 475
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.11
- CUDA GPU
- 大容量磁盘
安装与启动步骤
-
1建环境
锁 Python 3.11。
conda create -n omnishow python=3.11 -y -
2装依赖
requirements 与可编辑安装都要。
pip install -r requirements.txt -
3下权重与数据
两个脚本分开下。
bash download_weights.sh -
4跑推理
先用示例素材确认链路。
bash run_infer/infer_omnishow_wan.sh -
5再试训练
训练需要多卡与大显存。
bash run_train/train_omnishow_wan.sh
如何确认成功
用示例素材跑通推理，能生成一段人与物体交互的视频，且动作与输入条件大致对应
注意事项
- 它做的是人物与物体交互的视频生成，把多种模态条件统一到一套输入里，属论文代码。
- 权重和数据都要单独下载，总体积很大。
- 推理和训练脚本分开，先跑推理别直接上训练。
- 生成质量强依赖输入条件的质量，素材不对结果会明显跑偏。
核心亮点
- 专注人-物交互这一细分领域，解决现有模型交互不自然的核心痛点
- 基于DiT/MMDiT架构，技术方案先进，有字节跳动研究背书
- 提供完整代码和论文，便于复现和二次开发
不足之处
- 项目处于早期阶段，文档和社区支持待观察
- 训练和推理资源需求较高，普通开发者难以直接上手
适用场景
- 研究人-物交互视频生成算法
- 生成用于影视预演或广告的交互视频片段
- 辅助机器人或具身智能的交互行为模拟
替代项目
VideoPoet、AnimateAnyone、MagicAnimate
上一篇：flowm
下一篇：Echo-Memory
同类项目推荐
LynnReal-Omni
开源
一个框架搞定文生视频到长视频流式生成，四步出片
LynnReal-Omni brings text-to-video, image-to-video, human- and hand-pose guided gene···
daihuo-jianshou
开源
上传商品图，AI自动生成带货短视频，适配多平台
自动生成电商带货短视频：上传商品图，AI 生成脚本、素材并合成视频，适配抖音、快手、小红···
vrhino
开源
C++ 原生运行时，本地直接跑视频生成模型
A self-contained native runtime and model format for local AI video generation.
Pokora
开源
Mac 上本地跑 Stable Diffusion，轻松生成 AI 视频
A 100% Local AI Video Creation Platform using Stable Diffusion in a Native SwiftUI I···
pireel
开源
让AI代理自动剪辑视频，开源替代CapCut
The open-source alternative to Capcut、ChatCut. Drivable by any AI agent over MCP.
hyperframes-motion-director
开源
把文章和网页一键变成动态视频，中文优先
Agent Skill for Chinese-first HyperFrames motion-video production from articles, pro···
auto-subs
开源
在剪辑软件里直接生成字幕，省去导出导入的麻烦
On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···
Causal-Forcing
开源
让扩散视频生成快如实时，交互体验不掉帧
[ICML 2026] Official codebase for "Causal Forcing: Autoregressive Diffusion Distilla···
product-launch-motion
开源
一句话让 Claude 生成带节奏音效的产品发布视频
Claude Code skill for Dribbble-level product launch videos from code. One shape that···