CVPR23_LFDM

输入一张图，用光流扩散模型生成动态视频

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 视频生成 🍴 复刻 40 🐛 待处理 6 👀 关注 9
GitHub ↗
GitHub 星标 ★ 471
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，基于BSD-2-Clause许可证，可自由使用和修改，无付费版本。

项目预览

CVPR23_LFDM 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类视频生成
开发团队nihaomiao
GitHubhttps://github.com/nihaomiao/CVPR23_LFDM
定价模式🏷️完全免费
价格说明开源项目，基于BSD-2-Clause许可证，可自由使用和修改，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议BSD-2-Clause
主要语言Python
技术栈/模型cvpr2023,diffusion-models,image-animation,image-to-video,latent-diffusion,optical-flow,video-generation,video-prediction
GitHub 星标★ 471
上线时间2023-02-27 00:00:00
代码更新2024-06-18
仓库体积27.0 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数8

项目介绍

CVPR23_LFDM 是 CVPR 2023 论文《Conditional Image-to-Video Generation with Latent Flow Diffusion Models》的官方 PyTorch 实现。该项目旨在解决条件图像到视频生成问题，即给定一张静态图像和运动条件（如文本或动作），生成连续、自然的视频序列。其核心创新在于将光流信息引入潜在扩散模型，通过预测潜在空间中的光流场来引导视频帧的生成，从而在保持图像内容一致性的同时，实现可控且高质量的运动效果。项目支持多种条件输入，能够生成分辨率较高、时序连贯的视频，适用于图像动画、视频预测等任务。代码基于 PyTorch 和潜在扩散模型框架，提供了训练和推理脚本，方便研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 471

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 50 分钟 部署方式：本地GPU 5 步

环境要求

  • Python 3.7
  • PyTorch 1.12
  • CUDA GPU

安装与启动步骤

  1. 1装依赖

    环境偏旧，Python 与框架版本要按仓库来。

  2. 2下预训练权重

    三个数据集各有对应权重。

  3. 3改配置里的路径

    演示脚本里写死了路径，必须先改。

  4. 4跑演示

    按数据集选对应脚本。

    python -u demo/demo_mug.py

  5. 5再试训练

    训练分两个阶段。

如何确认成功

用预训练权重跑通一个数据集的演示，能生成与输入条件对应的视频帧序列

注意事项

  • 它是论文官方实现，做的是给定首帧与运动条件的图像到视频生成。
  • 环境锁得很旧，Python 3.7 加较老的框架版本，装环境占大半时间。
  • 演示脚本里的路径是写死的，不改必失败。
  • 三个数据集分别对应不同运动类型，选错脚本结果会毫无意义。

核心亮点

  • 官方实现，代码质量高，复现论文结果可靠
  • 引入光流引导，视频运动更连贯自然
  • 支持多种条件输入，灵活适配不同场景

不足之处

  • 文档/社区待观察
  • 依赖光流估计，推理速度可能较慢

适用场景

  • 图像动画生成
  • 视频预测与插帧
  • 创意内容制作

替代项目

Video Diffusion Models、MCVD、FDM

上一篇：MuseV

下一篇：MM-Diffusion

同类项目推荐

RealVideo 开源

把文字对话变成实时视频流，让AI开口说话

A real-time streaming conversational video system that transforms text interactions ···

★ 348 2026-08-09
controlnetvideo 开源

给视频逐帧加ControlNet控制，保持风格不闪烁

Apply controlnet to video clips

★ 83 2026-08-09
frametell 开源

丢想法和素材，AI 导演自动剪出讲解视频

Frametell: turn your ideas and material into vivid explainer videos with an AI direc···

★ 485 2026-10-21
hve-video-director 开源

一句话让 AI 助手跑完视频制作全流程

AI-powered video production pipeline for Claude Code, Github Copilot, Codex, Cursor,···

★ 104 2026-09-15
AI-Infinite-Zoom-Generator 开源

把AI外绘画变成无限缩放视频，自动生成炫酷特效

Turn a sequence of ai generated outpainted images into an "infinite zoom"

★ 68 2026-08-09
Bernini 开源

一条指令，让AI帮你生成或编辑视频，多模态输入全搞定

Bernini is a unified framework for video generation and editing that combines an MLL···

★ 1356 2026-08-09
awesome-ai-media-cn 开源

找AI视频工具，看这份每周更新的精选清单就够了

AI 视频制作与自媒体运营工具精选合集 — 涵盖一键生成、文生视频、多平台分发、字幕翻译等···

★ 369 2026-08-09
kandinsky-5 开源

用文本一键生成视频和图像，扩散模型新选择。

Kandinsky 5.0: A family of diffusion models for Video & Image generation

★ 844 2026-08-09