TokenFlow

用文本编辑视频,帧帧连贯不闪烁

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 141 🐛 待处理 41 👀 关注 69
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1708
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

TokenFlow 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类图像生成
开发团队omerbt
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型iclr2024,stable-diffusion,text-to-image,text-to-video,tokenflow,video-editing
GitHub 星标★ 1708
上线时间2023-07-20 00:00:00
代码更新2025-02-03
仓库体积28.1 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

TokenFlow 是 ICLR 2024 的官方 PyTorch 实现,用于实现基于扩散模型的视频编辑。它解决了文本到视频编辑中常见的时序不一致问题,即逐帧独立编辑会导致画面闪烁和内容漂移。TokenFlow 的核心创新在于利用扩散模型特征空间中的自注意力机制,将视频帧的噪声特征对齐到共享的“token”流上,从而在保持编辑内容的同时,确保帧间语义和外观的连贯性。项目提供完整的推理和训练代码,支持基于 Stable Diffusion 的文本引导视频编辑,可处理真实视频输入,并输出风格化或内容修改后的连贯视频。其核心能力包括:无需额外训练即可实现零样本视频编辑、支持多种编辑类型(如风格迁移、物体替换)、以及提供高质量的时间一致性保障。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1708

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:入门 约 10 分钟 部署方式:本地安装 4 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目为官方 PyTorch 实现,开发语言为 Python)
  • PyTorch 深度学习框架
  • 一个预训练的文本到图像扩散模型(如 Stable Diffusion),用于提供扩散先验
  • 无需额外训练或微调,可直接做零样本视频编辑

安装与启动步骤

  1. 1获取项目源码

    从官方 GitHub 仓库克隆 TokenFlow 源码到本地,后续安装与运行都在该目录中进行。

    git clone https://github.com/omerbt/TokenFlow.git
  2. 2进入项目目录

    进入克隆下来的目录,并阅读完整 README 获取安装与运行说明(本节选未包含具体安装命令)。

    cd TokenFlow
  3. 3查阅官方运行文档

    README 节选只介绍了方法原理,未给出依赖安装与推理命令;请务必查看仓库完整说明与项目主页。

  4. 4准备预训练扩散模型

    按官方说明准备一个预训练的文本到图像扩散模型权重,TokenFlow 基于该模型完成文本引导的视频编辑。

如何确认成功

README 节选未提供运行命令与预期输出,无法据此验证;请以官方仓库完整说明为准。

常见问题

Q:使用 TokenFlow 需要自己训练模型吗?

A:不需要。README 明确说明它使用预训练的文本到图像扩散模型来完成一致的视频编辑,无需任何进一步的训练或微调。

Q:TokenFlow 能做什么?

A:做文本驱动的视频编辑,且帧间保持一致:给定源视频和目标文本,即可在不额外训练的情况下完成编辑,避免逐帧独立编辑带来的闪烁与内容漂移。

Q:为什么教程里没有具体的安装命令?

A:所提供的 README 节选只包含项目简介与摘要,未涉及安装、依赖和运行命令,因此只能给出通用准备动作,避免虚构包名和参数。

Q:依赖和版本怎么装?

A:README 节选未列出依赖清单与版本要求,请直接查看官方仓库的完整 README 与项目主页获取准确安装说明。

注意事项

  • 本教程严格依据所给 README 节选整理,节选中没有安装命令,故未编造任何 pip/conda/docker 指令。
  • 项目为 ICLR 2024 官方实现,具体环境、模型权重下载与推理脚本请以官方仓库 README 和项目主页为准。
  • 运行视频扩散编辑通常对显存有较高需求,实际硬件要求请参考官方说明。
  • 克隆仓库后可先通读 README,再决定具体安装与运行方式。

核心亮点

  • 零样本视频编辑,无需针对视频微调模型,开箱即用
  • 基于扩散模型特征对齐,时序一致性显著优于逐帧编辑
  • 支持多种编辑场景,如风格迁移、物体替换、属性修改

不足之处

  • 对输入视频的分辨率和长度有一定限制,处理长视频时内存消耗大
  • 依赖 Stable Diffusion 基础模型,编辑效果受限于基础模型的能力
  • 文档/社区待观察

适用场景

  • 影视后期:快速生成风格化视频片段或替换视频中的物体
  • 创意内容生成:将文本描述转换为连贯的视频内容,用于广告或社交媒体
  • 视频修复与增强:保持时序一致性的条件下,对视频进行色彩调整或细节增强

替代项目

Runway Gen-2、Deforum Stable Diffusion、Text2Video-Zero

同类项目推荐

Sora-FullStack 开源

用文本或图片一键生成和编辑 AI 视频,支持语音克隆和多语言。

OpenAi-Sora (SoraFlows) is an open-source, cross-platform web application for AI-pow···

★ 106 2026-08-09
Vid2World 开源

把视频变成能交互的虚拟世界,驱动机器人或游戏。

Official repository for "Vid2World: Crafting Video Diffusion Models to Interactive W···

★ 78 2026-08-09
LivePhoto 开源

输入一张照片和一句动作描述,即可生成动态视频

Official implementations for paper: LivePhoto: Real Image Animation with Text-guided···

★ 206 2026-08-09
controlnetvideo 开源

给视频逐帧加ControlNet控制,保持风格不闪烁

Apply controlnet to video clips

★ 83 2026-08-09
InternVideo 开源

用海量视频数据预训练,一个模型搞定分类、问答和字幕生成。

[ECCV2024] Video Foundation Models & Data for Multimodal Understanding

★ 2416 2026-08-09
physctrl 开源

让 AI 生成的视频既逼真又符合物理规律,还能手动控制。

[NeurIPS 2025] PhysCtrl: Generative Physics for Controllable and Physics-Grounded Vi···

★ 137 2026-09-29
cinematic-video-prompt-skill 开源

700+电影术语速查,让AI视频提示词拍出电影感

AI video prompt cheat sheet & Claude Skill: cinematic camera angles, camera movement···

★ 176 2026-09-27