LLM-groundedVideoDiffusion

用LLM规划场景,让文本生成视频更听话

LLM-grounded Video Diffusion (LVD) 是 ICLR 2024 的官方实现,旨在解决文本到视频生成中语义对齐和时序一致性问题。它利用大型语言模型(LLM)作为“规划器”,将输入文本分解为分步的场景描述,再通过一个基于扩散模型的视频生成器,将每个场景描述转化为对应的视频片段,最后拼接成完整视频。核心能力包括:将复杂文本提示转化为结构化的视频生成流程,提升生成视频与文本的语义匹配度;通过场景级控制,增强视频内容的可编辑性和局部修改能力;支持自定义 LLM 和视频生成模块,便于扩展。项目代码基于 PyTorch,提供推理和训练脚本,适合研究文本到视频生成的开发者使用。

开源 free 图像生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 172
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类图像生成
开发团队TonyLianLong
所属国家
定价模式free
价格说明开源项目,代码公开,可自行部署使用,无收费计划。
访问状态
是否开源是
开源协议
主要语言Python
技术栈/模型diffusion,diffusion-models,large-language-models,llm,text-to-image,text-to-video,text-to-video-generation,video-generation
GitHub 星标★ 172
30天Star增速
HF 下载量
上线时间2023-10-02 00:00:00
最近更新2026-06-15 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1

使用教程

核心亮点

  • 创新性地用LLM做场景分解,显著提升文本-视频语义对齐
  • 支持场景级编辑,可精准修改视频某段内容
  • 官方ICLR 2024实现,代码结构清晰,含训练推理脚本

不足之处

  • 视频生成质量受限于基础扩散模型,分辨率较低
  • 依赖LLM的规划质量,复杂文本可能生成不连贯场景
  • 文档/社区待观察

适用场景

  • 研究文本到视频生成的语义控制方法
  • 需要根据详细脚本生成多场景短视频
  • 对生成视频进行局部内容修改或重生成

替代项目

ModelScope Text-to-Video、VideoFusion、Imagen Video

项目介绍

LLM-groundedVideoDiffusion 是视频领域的开源项目,由 TonyLianLong 开发,2023 年首次发布。

它收录于视频分类,该分类目前共有 473 个项目,GitHub 星标数为 172。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-06-15。代码公开,可自行部署使用,无收费计划。

它主要面向的使用场景是:研究文本到视频生成的语义控制方法。同类可对比的替代方案包括 ModelScope Text-to-Video、VideoFusion、Imagen Video。

上一篇:storyteller

下一篇:awesome-flux-3-api-prompts

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10