FateZero

一句话描述视频,零训练实现风格统一编辑

FateZero 是一个基于 Stable Diffusion 的零样本文本驱动视频编辑工具,来自 ICCV 2023 Oral 论文。它解决了传统视频编辑需要逐帧处理、风格不一致且耗时的问题,通过融合注意力机制实现无需训练的视频编辑。核心能力包括:利用预训练扩散模型的注意力图,在视频帧间保持内容和结构的一致性;支持文本驱动的编辑,如风格迁移、物体替换、属性修改等;提供零样本推理,无需针对特定视频微调。项目包含完整的推理代码、预训练模型和交互式 Gradio 演示,方便用户快速体验。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1163
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队ChenyangQiQi
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型image-editing,stable-diffusion,text-driven-editing,video-editing,video-style-transfer
GitHub 星标★ 1163
30天Star增速
HF 下载量
上线时间2023-03-16 00:00:00
最近更新2026-09-17 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:进阶 约 60 分钟 部署方式:本地安装 7 步

环境要求

  • Linux 环境,CUDA 11
  • 单张 A100 或 3090 GPU(README 测试环境)
  • conda,用于创建 Python 3.8 环境
  • xformers(A100 推荐,用于省显存和加速)
  • 约 100GB 磁盘空间存放全部数据与权重

安装与启动步骤

  1. 1获取项目代码

    把 FateZero 仓库克隆到本地,后续命令都在仓库根目录执行。

    git clone https://github.com/ChenyangQiQi/FateZero.git
    cd FateZero
  2. 2创建 conda 环境

    README 指定 Python 3.8,环境名 fatezero38。

    conda create -n fatezero38 python=3.8
    conda activate fatezero38
  3. 3安装依赖包

    在已激活的 fatezero38 环境中安装 requirements.txt 里的全部依赖。

    pip install -r requirements.txt
  4. 4可选安装 xformers

    A100 推荐安装以省显存、缩短耗时;README 提示安装不稳定,建议用其提供的 wheel。

    wget https://github.com/ShivamShrirao/xformers-wheels/releases/download/4c06c79/xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
    pip install xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
  5. 5验证安装

    运行仓库自带脚本检查环境是否可用。

    python test_install.py
  6. 6下载数据与权重

    一键下载全部数据与 checkpoint,约 100GB,需数分钟以上;也可稍后按需只下载感兴趣的部分。

    bash download_all.sh
  7. 7Colab 快速体验

    不想本地配置可打开官方 Colab notebook 直接体验。

如何确认成功

执行 python test_install.py 无报错即安装成功;本地跑通后可用官方 Colab notebook 做推理体验。

常见问题

Q:下载脚本要占多少空间、多久?

A:README 说明 bash download_all.sh 需数分钟以上,体积约 100GB;也可不全部下载,按兴趣后续只取所需数据与 checkpoint。

Q:xformers 装不上怎么办?

A:README 提示其安装并不稳定,建议直接用文档给出的 xformers 0.0.15.dev0 wheel 安装,A100 上能省显存与时间。

Q:需要什么显卡和 CUDA?

A:官方在 CUDA 11、accelerator fp16 与 xformers、单张 A100 或 3090 上测试通过,显存不足时优先装 xformers。

Q:没有本地 GPU 能玩吗?

A:可以,README 提供官方 Colab notebook(colab_fatezero.ipynb),在浏览器里即可运行体验。

注意事项

  • README 只给出整体环境安装与数据下载命令,单条数据下载和推理脚本的具体命令未列出,需自行查看仓库文件。
  • 数据与 checkpoint 体积约 100GB,请提前确认磁盘空间。
  • 环境思路与 Tune-A-video、prompt-to-prompt 相近,遇到细节问题可参考这两个项目。

核心亮点

  • 无需训练,直接利用预训练模型进行视频编辑,节省大量计算资源
  • 通过注意力融合机制,有效保持视频帧间的时序一致性,避免闪烁
  • 支持多种编辑任务,包括风格迁移、物体替换和属性修改,应用广泛

不足之处

  • 依赖 Stable Diffusion,对输入视频的分辨率和长度有一定限制
  • 文档和社区支持相对薄弱,新手入门可能有一定门槛

适用场景

  • 短视频创作者快速生成风格化视频片段
  • 影视后期制作中预览文本驱动的视觉效果
  • 个人用户进行创意视频编辑和趣味内容生成

替代项目

Tune-A-Video、Text2Video-Zero、ControlVideo

项目介绍

FateZero 是视频领域的开源项目,由 ChenyangQiQi 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,163)位列前 30%,在视频分类中处于中上游。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-17。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:短视频创作者快速生成风格化视频片段。同类可对比的替代方案包括 Tune-A-Video、Text2Video-Zero、ControlVideo。

上一篇:ebsynth_utility

下一篇:text2video

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10