Text2Video-Zero

不训练视频模型,用文生图扩散模型直接生成连贯视频

开源 🏷️完全免费 ✅ 目前可打开 视频生成 🍴 复刻 390 🐛 待处理 51 👀 关注 67
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 4247
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,提供在线演示页面,可免费体验,无付费版本。

项目预览

Text2Video-Zero 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队Picsart-AI-Research
定价模式🏷️完全免费
价格说明开源项目,提供在线演示页面,可免费体验,无付费版本。
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型video-editing,video-generation
GitHub 星标★ 4247
上线时间2023-03-21 00:00:00
代码更新2023-05-06
仓库体积92.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Text2Video-Zero 是 ICCV 2023 Oral 论文的官方实现,核心思路是利用预训练的文生图扩散模型(如 Stable Diffusion)直接生成视频,无需对视频数据进行训练。它通过巧妙设计潜在噪声的时序一致性(如跨帧注意力机制、运动动态编码),将静态图像生成扩展为时间上连贯的视频序列,解决了直接逐帧生成会导致闪烁和内容不连贯的问题。项目支持三种模式:零样本文本到视频生成、零样本视频编辑(基于提示词或图像编辑)、以及指令引导的视频编辑(如换风格、改物体)。其最大价值在于证明了强大的文生图模型可以零样本迁移到视频领域,为视频生成提供了一条低成本、无需视频训练数据的新路径。核心能力包括:文本驱动视频生成、视频内容编辑、以及利用图像编辑模型实现视频风格迁移。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4247

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:本地安装 5 步

环境要求

  • Python 3.9
  • CUDA >= 11.6(README 明确要求)
  • 已安装 virtualenv(用于创建虚拟环境)
  • 可访问 GitHub 与 PyPI 的网络环境

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 Text2Video-Zero 官方仓库到本地,需保证网络可访问 GitHub。

    git clone https://github.com/Picsart-AI-Research/Text2Video-Zero.git
  2. 2进入项目目录

    切换到刚克隆下来的仓库根目录,后续安装命令都在此目录执行。

    cd Text2Video-Zero/
  3. 3创建虚拟环境

    使用 README 指定的 Python 3.9 创建虚拟环境,--system-site-packages 会继承系统已装包。

    virtualenv --system-site-packages -p python3.9 venv
  4. 4激活虚拟环境

    激活后 pip 安装的依赖会进入 venv,避免污染系统 Python 环境。

    source venv/bin/activate
  5. 5安装依赖

    按 requirements.txt 安装全部 Python 依赖,含 torch 等大型包,耗时较长请耐心等待。

    pip install -r requirements.txt

如何确认成功

README 未给出启动命令;可用 pip list 查看 requirements.txt 中的依赖是否都已安装成功。

常见问题

Q:对 Python 和 CUDA 版本有什么要求?

A:README 明确要求使用 Python 3.9 与 CUDA >= 11.6,版本不符可能导致依赖安装或运行失败。

Q:没有 NVIDIA GPU 可以运行吗?

A:README 只给出 CUDA >= 11.6 的安装要求,未提供纯 CPU 运行说明,建议使用带 CUDA 的 GPU 环境。

Q:不想本地部署怎么体验?

A:README 提供了 Hugging Face Spaces 在线 Demo(PAIR/Text2Video-Zero),可直接在网页上体验。

Q:安装命令报找不到 python3.9 怎么办?

A:需先在系统中安装 Python 3.9 并确保 python3.9 可执行文件在 PATH 中,README 未提供其他版本替代方案。

注意事项

  • README 节选只包含 Setup 安装步骤,未提供推理/生成视频的运行命令,需参考官网 https://text2video-zero.github.io 或论文。
  • virtualenv 使用了 --system-site-packages,虚拟环境会继承系统包,可能与 requirements.txt 中的版本产生冲突。
  • 激活虚拟环境使用 source venv/bin/activate,属于 Linux/macOS 写法,Windows 需另用对应激活脚本。

核心亮点

  • 零样本视频生成,无需任何视频训练数据,直接复用 Stable Diffusion 权重
  • 支持文本到视频、视频编辑、指令编辑三种模式,功能覆盖广
  • 跨帧注意力机制有效保持时序一致性,视频连贯性优于朴素逐帧生成

不足之处

  • 生成视频分辨率低(默认 512x512),且时长极短(约 2 秒),实用性受限
  • 推理速度慢,需要多次扩散采样,且跨帧注意力计算开销大
  • 对复杂运动场景支持弱,物体形变或大幅运动时容易出现伪影

适用场景

  • 快速生成短视频概念预览,用于创意设计或故事板
  • 对已有视频进行零样本风格迁移或物体替换,无需重新训练
  • 在缺乏视频训练数据的领域,利用文生图模型探索视频生成能力

替代项目

AnimateDiff、ModelScope Text-to-Video、VideoCrafter

上一篇:StyleSV

下一篇:AMT

同类项目推荐

BigBanana-AI-Director 开源

一句话生成完整短剧,从剧本到成片全自动,告别抽卡式生成。

BigBanana AI Director是一个工业级一站式 AI 短剧,AI 漫剧,AI 导演平台,面向创作者,实···

★ 2426 2026-08-09
product-launch-motion 开源

一句话让 Claude 生成带节奏音效的产品发布视频

Claude Code skill for Dribbble-level product launch videos from code. One shape that···

★ 435 2026-10-18
LAMP 开源

用少量视频样本,学运动模式,生成和编辑视频

[CVPR 2024] | LAMP: Learn a Motion Pattern for Few-Shot Based Video Generation

★ 284 2026-08-09
ASCILINE 开源

把视频实时变成字符画,网页 30 帧流畅播放

A high-performance ASCII video rendering engine featuring real-time WebSocket binary···

★ 2809 2026-10-09
millivid 开源

让AI生成的长视频不再跳帧变脸,保持前后一致

[to appear at NeurIPS 2026] Official implementation of "MilliVid: Adaptive Latents f···

★ 118 2026-09-29
OmniWeaving 开源

自由组合条件,让视频生成按你的意图推理出片

Official Implementation of OmniWeaving: Towards Unified Video Generation with Free-f···

★ 807 2026-11-09
BLADE 开源

给视频生成提速:稀疏注意力+步数蒸馏,快数倍不降质。

[ICLR 2026] This is the official PyTorch implementation of "BLADE: Block-Sparse Atte···

★ 54 2026-08-09
koma 开源

丢进视频,自动出摘要、章节、字幕和关键帧

Self-hosted AI video analysis: summaries, chapters, keyframes, transcripts and SRT /···

★ 299 2026-09-30
unified_video_action 开源

一个模型同时生成视频和动作,让机器人看得懂未来、动得准。

Official PyTorch Implementation of Unified Video Action Model (RSS 2025)

★ 416 2026-08-09