LLM-groundedVideoDiffusion

用LLM规划场景,让文本生成视频更听话

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 图像生成 🍴 复刻 8 🐛 待处理 5 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 172
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,代码公开,可自行部署使用,无收费计划。

项目预览

LLM-groundedVideoDiffusion 项目界面预览图
图片来源:项目官网

项目数据

分类图像生成
开发团队TonyLianLong
定价模式🏷️完全免费
价格说明开源项目,代码公开,可自行部署使用,无收费计划。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型diffusion,diffusion-models,large-language-models,llm,text-to-image,text-to-video,text-to-video-generation,video-generation
GitHub 星标★ 172
上线时间2023-10-02 00:00:00
代码更新2024-05-07
仓库体积11.1 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

LLM-grounded Video Diffusion (LVD) 是 ICLR 2024 的官方实现,旨在解决文本到视频生成中语义对齐和时序一致性问题。它利用大型语言模型(LLM)作为“规划器”,将输入文本分解为分步的场景描述,再通过一个基于扩散模型的视频生成器,将每个场景描述转化为对应的视频片段,最后拼接成完整视频。核心能力包括:将复杂文本提示转化为结构化的视频生成流程,提升生成视频与文本的语义匹配度;通过场景级控制,增强视频内容的可编辑性和局部修改能力;支持自定义 LLM 和视频生成模块,便于扩展。项目代码基于 PyTorch,提供推理和训练脚本,适合研究文本到视频生成的开发者使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 172

核心亮点

  • 创新性地用LLM做场景分解,显著提升文本-视频语义对齐
  • 支持场景级编辑,可精准修改视频某段内容
  • 官方ICLR 2024实现,代码结构清晰,含训练推理脚本

不足之处

  • 视频生成质量受限于基础扩散模型,分辨率较低
  • 依赖LLM的规划质量,复杂文本可能生成不连贯场景
  • 文档/社区待观察

适用场景

  • 研究文本到视频生成的语义控制方法
  • 需要根据详细脚本生成多场景短视频
  • 对生成视频进行局部内容修改或重生成

替代项目

ModelScope Text-to-Video、VideoFusion、Imagen Video

上一篇:storyteller

下一篇:awesome-flux-3-api-prompts

同类项目推荐

muapi-comfyui 开源

在 ComfyUI 里一键调用 100+ 主流 AI 生成模型

ComfyUI custom nodes for 600+ AI models — Seedance, Kling, Veo3, Flux, HiDream, GPT···

★ 81 2026-08-09
qiaomu-cut-skill 开源

让 AI 自动当导演,素材到成片一键可复现

乔木智能视频导演 Skill:素材治理、双语字幕、品牌包装与可复现渲染 | Agent-native vide···

★ 378 2026-08-09
AlayaRenderer 开源

用扩散模型直接渲染游戏世界,告别传统管线

Generative World Renderer: an AI-native Renderer for Games and Virtual Worlds.

★ 654 2026-08-09
LynnReal-Omni 开源

一个框架搞定文生视频到长视频流式生成,四步出片

LynnReal-Omni brings text-to-video, image-to-video, human- and hand-pose guided gene···

★ 275 2026-09-20
UltraFlash 开源

实时流式生成高分辨率视频

⚡ Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions

★ 528 2026-10-26
lingbot-world 开源

给个开头画面,AI 自动接续成片

Advancing Open-source World Models

★ 4572 2026-08-09
text2video-from-scratch 开源

手把手从零实现视频扩散模型,看懂每一步

A Straightforward, Step-by-Step Implementation of a Video Diffusion Model

★ 89 2026-08-09
AI-Faceless-Video-Generator 开源

输入主题,AI 自动生成脚本、配音和虚拟人脸视频

Generate a video script, voice and a talking face completely with AI

★ 534 2026-08-09