videocomposer

像拼乐高一样组合条件,精准控制视频运动生成

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 85 🐛 待处理 38 👀 关注 21
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 954
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,可免费使用和部署,无付费版本。

项目预览

videocomposer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队ali-vilab
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,可免费使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffusion-models,video-generation,video-synthesiswith
GitHub 星标★ 954
上线时间2023-06-01 00:00:00
代码更新2023-11-11
仓库体积34.1 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

VideoComposer 是一个基于扩散模型的视频合成框架,由阿里巴巴研究团队开发。它解决了传统视频生成中运动控制困难的问题,允许用户通过多种条件(如文本、图像、运动轨迹、深度图等)组合式地控制视频生成过程。其核心能力包括:支持多种条件输入的自由组合,实现精细的运动可控性;采用时空编码器统一处理不同条件,并引入运动矢量作为显式控制信号;提供官方预训练模型和推理代码,方便研究者复现和二次开发。该项目为视频生成领域提供了更灵活、更可控的创作工具,适用于动画制作、内容创作、视觉特效等场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 954

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 50 分钟 部署方式:本地 (Py/CUDA) 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Linux + NVIDIA GPU
  • CUDA
  • 较大磁盘(多模型权重)

安装与启动步骤

  1. 1准备环境

    按仓库说明建 Python 环境并装 torch 与依赖。

  2. 2装 modelscope

    notebook 示例用它拉取模型。

    pip install modelscope
  3. 3准备权重

    按 README 下载对应模型权重并放到指定目录。

  4. 4跑推理

    用 run_net.py 指定配置与输入条件(文本/姿态/风格等)。

    python run_net.py --cfg configs/xxx.yaml

如何确认成功

输出目录生成 mp4,动作与给定条件(如姿态序列)一致。

常见问题

Q:权重下载不下来?

A:改用 modelscope 源,国内网络更稳。

注意事项

  • 仓库偏研究代码,根 README 未给完整安装命令,步骤按常见配置整理,置信度标 low。
  • 支持运动可控的组合式视频生成,条件越多显存需求越高。

核心亮点

  • 支持文本、图像、运动轨迹、深度图等多种条件自由组合,控制粒度细
  • 官方提供预训练权重和推理脚本,开箱即用,复现门槛低
  • 运动可控性突出,通过显式运动矢量提升生成视频的动态合理性

不足之处

  • 文档/社区待观察
  • 生成视频分辨率和时长有限,不适合高要求生产环境

适用场景

  • 创意视频制作:根据草图或运动轨迹生成动画片段
  • 内容增强:为静态图像添加动态效果,生成短视频
  • 研究实验:探索多条件视频生成和运动控制算法

替代项目

ModelScope、AnimateDiff、VideoCrafter

上一篇:magvit

下一篇:ControlVideo

同类项目推荐

LeapTalk 开源

单步前向生成说话头视频,实时且能拉长不崩

We propose LeapTalk, a novel framework that achieves stable and real-time talking-he···

★ 212 2026-10-09
ComfyUI-MiniMax-H3-Promptor 开源

在 ComfyUI 里一键生成电影级 MiniMax H3 视频提示词

A powerful, ComfyUI Custom node automation suite for generating cinema-production-gr···

★ 264 2026-09-29
Storyblocks 开源

输入文字提示,自动生成带画面的故事视频

✨ Experience the enchantment of Story Blocks: an open-source project merging AI tex···

★ 73 2026-08-09
MotionClone 开源

参考视频一键变可编辑动效,导出 MP4 或工程文件

Rebuild a reference video as an editable HyperFrames project, compare the match agai···

★ 614 2026-09-30
RefAlign 开源

让视频生成严格跟随参考图,身份不跑偏

[ECCV 2026] Official PyTorch implementation of RefAlign: Representation Alignment fo···

★ 339 2026-08-09
motion-latent-diffusion 开源

输入文字,秒级生成高质量3D人体动作

[CVPR 2023] Executing your Commands via Motion Diffusion in Latent Space, a fast and···

★ 753 2026-08-09
rcm 开源

把视频扩散模型蒸馏成少步生成,快出视频不降质

rCM & Causal-rCM: Leading and Unified Algorithms/Infrastructures for Bidirectional/A···

★ 828 2026-08-09
brainrot.js 开源

选个名人风格,把文字变成脑腐短视频,轻松涨粉

Text to video generator in the brainrot form. Learn about any topic from your favori···

★ 958 2026-08-09
koma 开源

丢进视频,自动出摘要、章节、字幕和关键帧

Self-hosted AI video analysis: summaries, chapters, keyframes, transcripts and SRT /···

★ 299 2026-09-30