FreeInit

不重训模型,让视频生成更连贯更稳定

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 22 🐛 待处理 12 👀 关注 3
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 545
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,需自行部署使用。

项目预览

FreeInit 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队TianxingWu
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型aigc,text-to-video,video-diffusion-model,video-generation
GitHub 星标★ 545
上线时间2023-12-12 00:00:00
代码更新2024-01-18
仓库体积60.7 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数3

项目介绍

FreeInit 是一个针对视频扩散模型的训练后优化方法,由南洋理工大学等机构在 ECCV 2024 提出。它解决视频扩散模型在生成时因初始噪声与视频低频结构不匹配而导致的时序闪烁和运动不连贯问题。核心能力是在不重新训练模型的前提下,通过迭代地对初始潜变量进行频谱空间的重采样和混合,弥合初始化差距,显著提升生成视频的时序一致性和整体质量。方法即插即用,兼容现有主流视频扩散模型,如 AnimateDiff 和 VideoCrafter,仅需少量推理步骤即可带来明显改善。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 545

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 60 分钟 部署方式:本地GPU 5 步

环境要求

  • CUDA 显卡
  • PyTorch
  • 预训练视频扩散模型

安装与启动步骤

  1. 1拉仓库

    论文实现,代码量不大但依赖不轻。

    git clone https://github.com/TianxingWu/FreeInit.git
  2. 2装依赖下权重

    按说明准备推理所需的预训练模型。

  3. 3跑一次带 FreeInit 的生成

    同一条提示词,开与不开各跑一次对比。

    python -m scripts.animate_with_freeinit
  4. 4看时序一致性

    重点看帧间抖动,这是它要解决的问题。

  5. 5起交互界面调参

    网页界面方便快速换提示词。

    python app.py

如何确认成功

同一条提示词下开与不开 FreeInit 各生成一段,逐帧对比能看到帧间闪烁明显减少

注意事项

  • 它是在已有视频扩散模型上做推理期的噪声重初始化,不改模型结构,所以能直接挂到现成权重上。
  • 不开对照组就看不出效果,单独看一段很难判断。
  • 推理开销会随迭代次数上升,质量和时间要自己权衡。
  • 论文实现为主,接口不适合直接做产品。

核心亮点

  • 即插即用,无需修改或重训现有视频扩散模型,直接提升生成质量
  • 通过频谱重采样弥合初始化差距,有效减少视频闪烁和运动不连贯
  • 已集成至 AnimateDiff 等主流工具,验证了实用性和兼容性

不足之处

  • 需要额外的推理迭代步骤,增加计算开销
  • 文档和社区支持相对有限,属于研究性质项目

适用场景

  • 提升现有视频扩散模型的生成时序一致性
  • 作为后处理模块嵌入视频生成工作流
  • 研究视频生成中初始噪声对质量的影响

替代项目

VideoCrafter、AnimateDiff、ModelScope Text-to-Video

上一篇:VEnhancer

下一篇:FlashVideo

同类项目推荐

VideoElevator 开源

不训练,直接提升视频生成画质和细节

[AAAI 2025] Official pytorch implementation of "VideoElevator: Elevating Video Gener···

★ 163 2026-08-09
deforum-comfy-nodes 开源

在 ComfyUI 里玩转 Deforum 动画,拖拽节点生成炫酷 AI 视频

Deforum ComfyUI Nodes - ai animation node package

★ 197 2026-08-09
epipolar-dpo 开源

用极线几何约束,让AI生成的视频更符合真实3D空间

Official repo for: Epipolar Geometry Improves Video Generation Models

★ 95 2026-08-09
OmniVAE 开源

让AI同时生成音视频,跨模态对齐一步到位

A unified audio-video variational autoencoder with cross-modal alignment for joint r···

★ 100 2026-08-09
HunyuanVideo 开源

写个提示词,电影级视频马上出

HunyuanVideo: A Systematic Framework For Large Video Generation Model

★ 12740 2026-08-09
NarratoAI 开源

上传视频,AI 自动写稿配音剪辑,一键出片

利用 AI 大模型,一键解说并剪辑视频

★ 11742 2026-08-09
Be-Your-Outpainter 开源

上传视频,一键扩展画面边界,生成连贯外扩内容

[ECCV 2024] Be-Your-Outpainter https://arxiv.org/abs/2403.13745

★ 256 2026-08-09
AI-Infinite-Zoom-Generator 开源

把AI外绘画变成无限缩放视频,自动生成炫酷特效

Turn a sequence of ai generated outpainted images into an "infinite zoom"

★ 68 2026-08-09
Wan2.2 开源

输入一句话,高清视频直接生成

Wan: Open and Advanced Large-Scale Video Generative Models

★ 18461 2026-08-09