FateZero

一句话描述视频,零训练实现风格统一编辑

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 108 🐛 待处理 12 👀 关注 13
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1165
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

FateZero 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队ChenyangQiQi
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Jupyter Notebook
技术栈/模型image-editing,stable-diffusion,text-driven-editing,video-editing,video-style-transfer
GitHub 星标★ 1165
上线时间2023-03-16 00:00:00
代码更新2023-08-14
仓库体积204.6 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

FateZero 是一个基于 Stable Diffusion 的零样本文本驱动视频编辑工具,来自 ICCV 2023 Oral 论文。它解决了传统视频编辑需要逐帧处理、风格不一致且耗时的问题,通过融合注意力机制实现无需训练的视频编辑。核心能力包括:利用预训练扩散模型的注意力图,在视频帧间保持内容和结构的一致性;支持文本驱动的编辑,如风格迁移、物体替换、属性修改等;提供零样本推理,无需针对特定视频微调。项目包含完整的推理代码、预训练模型和交互式 Gradio 演示,方便用户快速体验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1165

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 60 分钟 部署方式:本地安装 7 步

环境要求

  • Linux 环境,CUDA 11
  • 单张 A100 或 3090 GPU(README 测试环境)
  • conda,用于创建 Python 3.8 环境
  • xformers(A100 推荐,用于省显存和加速)
  • 约 100GB 磁盘空间存放全部数据与权重

安装与启动步骤

  1. 1获取项目代码

    把 FateZero 仓库克隆到本地,后续命令都在仓库根目录执行。

    git clone https://github.com/ChenyangQiQi/FateZero.git
    cd FateZero
  2. 2创建 conda 环境

    README 指定 Python 3.8,环境名 fatezero38。

    conda create -n fatezero38 python=3.8
    conda activate fatezero38
  3. 3安装依赖包

    在已激活的 fatezero38 环境中安装 requirements.txt 里的全部依赖。

    pip install -r requirements.txt
  4. 4可选安装 xformers

    A100 推荐安装以省显存、缩短耗时;README 提示安装不稳定,建议用其提供的 wheel。

    wget https://github.com/ShivamShrirao/xformers-wheels/releases/download/4c06c79/xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
    pip install xformers-0.0.15.dev0+4c06c79.d20221201-cp38-cp38-linux_x86_64.whl
  5. 5验证安装

    运行仓库自带脚本检查环境是否可用。

    python test_install.py
  6. 6下载数据与权重

    一键下载全部数据与 checkpoint,约 100GB,需数分钟以上;也可稍后按需只下载感兴趣的部分。

    bash download_all.sh
  7. 7Colab 快速体验

    不想本地配置可打开官方 Colab notebook 直接体验。

如何确认成功

执行 python test_install.py 无报错即安装成功;本地跑通后可用官方 Colab notebook 做推理体验。

常见问题

Q:下载脚本要占多少空间、多久?

A:README 说明 bash download_all.sh 需数分钟以上,体积约 100GB;也可不全部下载,按兴趣后续只取所需数据与 checkpoint。

Q:xformers 装不上怎么办?

A:README 提示其安装并不稳定,建议直接用文档给出的 xformers 0.0.15.dev0 wheel 安装,A100 上能省显存与时间。

Q:需要什么显卡和 CUDA?

A:官方在 CUDA 11、accelerator fp16 与 xformers、单张 A100 或 3090 上测试通过,显存不足时优先装 xformers。

Q:没有本地 GPU 能玩吗?

A:可以,README 提供官方 Colab notebook(colab_fatezero.ipynb),在浏览器里即可运行体验。

注意事项

  • README 只给出整体环境安装与数据下载命令,单条数据下载和推理脚本的具体命令未列出,需自行查看仓库文件。
  • 数据与 checkpoint 体积约 100GB,请提前确认磁盘空间。
  • 环境思路与 Tune-A-video、prompt-to-prompt 相近,遇到细节问题可参考这两个项目。

核心亮点

  • 无需训练,直接利用预训练模型进行视频编辑,节省大量计算资源
  • 通过注意力融合机制,有效保持视频帧间的时序一致性,避免闪烁
  • 支持多种编辑任务,包括风格迁移、物体替换和属性修改,应用广泛

不足之处

  • 依赖 Stable Diffusion,对输入视频的分辨率和长度有一定限制
  • 文档和社区支持相对薄弱,新手入门可能有一定门槛

适用场景

  • 短视频创作者快速生成风格化视频片段
  • 影视后期制作中预览文本驱动的视觉效果
  • 个人用户进行创意视频编辑和趣味内容生成

替代项目

Tune-A-Video、Text2Video-Zero、ControlVideo

上一篇:ebsynth_utility

下一篇:text2video

同类项目推荐

Efficient4D 开源

一段单视角视频,快速生成可动的 3D 物体

[IJCV 2026] Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video

★ 106 2026-10-26
Nomi 开源

让 AI 代理按你的故事板直接剪出视频初稿

Open-source AI video workbench. Bring any model or your local ComfyUI, and let Claud···

★ 633 2026-08-09
Tapdance 开源

用命令行快速生成和管理 AI 视频,导演级工作流一步到位。

对接 Seedance 2.0 API & CLI 的AI 导演工作台

★ 81 2026-08-09
manju-laoli-skill 开源

从剧本到分镜提示词,一条龙产出可直接投喂视频模型

漫剧老李 AIGC 创作全流程 Skill · V7.4.26 多技能套装版(Short-Drama Director Suite)···

★ 1976 2026-10-21
kandinsky-5 开源

用文本一键生成视频和图像,扩散模型新选择。

Kandinsky 5.0: A family of diffusion models for Video & Image generation

★ 844 2026-08-09
X-Dyna 开源

让静态照片动起来,表情动作一起驱动生成自然视频

[CVPR 2025 Highlight] X-Dyna: Expressive Dynamic Human Image Animation

★ 268 2026-08-09
RAVE 开源

快速稳定地编辑视频,用文本指令让扩散模型动起来。

RAVE: Randomized Noise Shuffling for Fast and Consistent Video Editing with Diffusio···

★ 313 2026-08-09
DiT-Extrapolation 开源

不重训、不微调,让视频扩散模型直接生成超长视频

Official implementation for "RIFLEx: A Free Lunch for Length Extrapolation in Video ···

★ 833 2026-08-09
AI-NovelFlow 开源

丢一本小说进去,自动出分镜画面和视频

NovelFlow 是一个将小说自动转换为视频的 AI 平台。文生图、图生图、图生视频都是基于开源···

★ 118 2026-09-17