项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 463
技术标签
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10
- CUDA GPU
- 大容量磁盘
安装与启动步骤
-
1建环境
锁 Python 3.10。
conda create -n video_as_prompt python=3.10 -y -
2装依赖与本地扩散库
它改了扩散库，要用仓库内那份。
pip install -e ./diffusers -
3下权重
视频生成权重体积很大。
-
4跑评测脚本
先跑基准集。
python infer/cog_vap_bench.py -
5再试训练
单机脚本与多机脚本都在。
bash examples/training/sft/cogvideox/vap_mot/train_single_node.sh
如何确认成功
用示例素材跑通一次生成，输出视频的运动与参考视频的提示意图一致
注意事项
- 它用视频本身作为提示来控制生成，比文本描述更能传达运镜与节奏。
- 依赖仓库内的扩散库版本，用外部安装的会因接口差异失败。
- 权重与视频素材都很占空间，先确认磁盘。
- 多机训练要填主节点地址，填错会一直等不到握手。
核心亮点
- 提出视频即提示的新范式，突破文本/图像控制的局限
- 统一语义控制框架，可同时调控运动、内容与风格
- 附有论文与代码，便于复现和二次开发
不足之处
- 项目早期，文档和社区支持待观察
- 依赖特定数据集和算力，上手门槛较高
适用场景
- 视频编辑：基于参考视频风格生成新片段
- 影视预演：快速生成多版本镜头供导演选择
- 研究实验：探索视频生成的可控性边界
替代项目
VideoComposer、ControlVideo、MotionCtrl
上一篇：Seedance2.0-Storyboard-Planner
下一篇：tgan2
同类项目推荐
awesome-seedance-2.5-prompts
开源
现成的 Seedance 2.5 视频提示词模板，照着改就能用
Seedance 2.5 Early Access prompt patterns and launch prompt library.
pireel
开源
让AI代理自动剪辑视频，开源替代CapCut
The open-source alternative to Capcut、ChatCut. Drivable by any AI agent over MCP.
Maestro
开源
本地一键生成音乐视频和短片，从提示词到成片全自动。
An all-in-one, 100% local AI video, image, and music studio. Director mode plans ful···
movie-gen
开源
复现 Movie Gen 论文，开源视频生成模型
An open source community implementation of the model from the paper: "Movie Gen: A C···
tgan2
开源
低显存训练高分辨率视频生成模型，稀疏训练密集生成
The official implementation of "Train Sparsely, Generate Densely: Memory-efficient U···
ComfyUI-LTXVideo
开源
在 ComfyUI 里拖拽节点，轻松生成和编辑视频
LTX-Video Support for ComfyUI
video_prediction
开源
用GAN+VAE预测视频未来帧，生成多种可能结果
Stochastic Adversarial Video Prediction
MultiWorld
开源
多智能体多视角视频生成，让机器人训练更真实
Official Implementation of MultiWorld: Scalable Multi-Agent Multi-View Video World M···
chaojifeng-video-design
开源
把视频创作方法论装进 AI Agent，出片更有章法
超级峰的视频设计方法论｜面向 AI Agent 的视频主线、分镜、声画节奏、制作与交付验收 Ski···