VidToMe

上传视频,输入文字,零训练直接改视频内容

VidToMe 是 CVPR 2024 的官方 PyTorch 实现,提出一种零样本视频编辑方法,通过视频令牌合并(Video Token Merging)技术,在无需训练的情况下将文本驱动的图像编辑模型(如 Stable Diffusion)扩展到视频领域。它解决的核心问题是:现有文本到视频编辑方法要么需要针对每个视频微调,要么计算开销巨大,且难以保持时序一致性。VidToMe 通过合并视频帧间的相似令牌,减少冗余计算,同时利用自注意力机制增强跨帧一致性,从而在保持高质量编辑效果的同时大幅提升效率。其核心能力包括:支持基于文本的语义编辑(如换装、改背景)、保持物体身份和运动轨迹、零样本泛化到任意视频,且与多种预训练扩散模型兼容。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 228
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队lixirui142
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型stable-diffusion,text-driven-editing,video-editing,video-to-video-translation,zero-shot
GitHub 星标★ 228
30天Star增速
HF 下载量
上线时间2023-12-18 00:00:00
最近更新2026-09-20 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数2

使用教程

核心亮点

  • 零样本编辑,无需针对视频微调,开箱即用
  • 令牌合并技术显著降低计算量,推理速度更快
  • 时序一致性保持较好,编辑后视频流畅不闪烁

不足之处

  • 复杂场景下编辑精度有限,可能产生局部伪影
  • 文档/社区待观察,教程和示例较少

适用场景

  • 短视频创作者快速替换视频背景或物体
  • 影视后期预可视化,快速生成风格化预览
  • 教育内容制作,将实拍视频转为动画风格

替代项目

Tune-A-Video、ControlVideo、FateZero

项目介绍

VidToMe 是视频领域的开源项目,由 lixirui142 开发,2023 年首次发布。

它收录于视频分类,该分类目前共有 472 个项目,GitHub 星标数为 228。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-20。MIT许可证,完全免费,需自行部署使用。

它主要面向的使用场景是:短视频创作者快速替换视频背景或物体。同类可对比的替代方案包括 Tune-A-Video、ControlVideo、FateZero。

上一篇:LAMP

下一篇:giffusion

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 334 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10