ControlVideo
无需训练，用文本和结构图直接生成可控视频。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 861
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU 16G 显存以上
- Python 3.10
- 基础视频模型权重
安装与启动步骤
-
1建环境
官方用 Python 3.10。
conda create -n controlvideo python=3.10 && conda activate controlvideo pip install -r requirements.txt -
2准备权重
按 README 下基础视频模型与 ControlNet 权重。
ls checkpoints -
3准备控制序列
深度或边缘序列按帧命名，与提示词一起喂。
ls examples/control -
4推理
inference.py 传提示词与控制目录。
python inference.py --prompt "a robot walking" --control_dir examples/control
如何确认成功
输出视频的动作节奏与输入控制序列一致。
注意事项
- 它是免训练的可控视频生成，靠控制序列约束运动。
- 帧数与显存强相关，先跑 16 帧再往上加。
核心亮点
- 无需训练，直接利用预训练模型，部署成本低
- 支持多种结构引导（边缘、深度等），控制灵活
- 帧间一致性好，视频流畅自然
不足之处
- 生成视频长度有限，长视频可能累积误差
- 依赖预训练模型能力，复杂场景效果受限
- 文档/社区待观察
适用场景
- 快速生成概念演示视频
- 基于图片结构生成动画片段
- 创意短视频制作
替代项目
VideoCrafter、ModelScope Text-to-Video、AnimateDiff
上一篇：videocomposer
下一篇：WACV23_TSNet
同类项目推荐
Storyblocks
开源
输入文字提示，自动生成带画面的故事视频
✨ Experience the enchantment of Story Blocks: an open-source project merging AI tex···
controlnetvideo
开源
给视频逐帧加ControlNet控制，保持风格不闪烁
Apply controlnet to video clips
explainroo
开源
一段脚本，AI 自动配音配画导出讲解 MP4
Explainer videos and product demos made by your AI agent. Free and open source: a lo···
MikuDance
开源
上传一张角色图，轻松生成自然流畅的动画视频
MikuDance: Animating Character Art with Mixed Motion Dynamics
PVDM
开源
在潜空间玩转扩散模型，高效生成高质量视频
[CVPR'23] Video Probabilistic Diffusion Models in Projected Latent Space
ComfyUI-MiniMaxH3-Director
开源
在 ComfyUI 里用时间轴精细控制 MiniMax H3 视频生成，实现专业级镜头编排。
A timeline editor for MiniMax H3 inside ComfyUI - storyboard prompts, first/last key···
clipcat-skill
开源
一句话让 AI 批量生成并复刻 TikTok 带货视频
AI TikTok Video Generator for Shop Sellers - find viral inspiration, replicate winni···
daihuo-jianshou
开源
上传商品图，AI自动生成带货短视频，适配多平台
自动生成电商带货短视频：上传商品图，AI 生成脚本、素材并合成视频，适配抖音、快手、小红···
cinematic-video-prompt-skill
开源
700+电影术语速查，让AI视频提示词拍出电影感
AI video prompt cheat sheet & Claude Skill: cinematic camera angles, camera movement···