YUME

用世界模型实时生成可交互视频,从文本或图片秒变动态画面。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 44 🐛 待处理 18 👀 关注 12
GitHub ↗
GitHub 星标 ★ 686
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可免费使用和部署。

项目预览

YUME 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队stdstu12
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型image-to-video,interactive-generation,real-time-generation,text-to-video,world-model
GitHub 星标★ 686
上线时间2025-07-14 00:00:00
代码更新2026-01-14
仓库体积30.4 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

YUME 是一个基于世界模型的实时视频生成项目,官方代码库。它支持文本到视频和图像到视频的生成,强调交互式与实时生成能力。项目旨在解决传统视频生成速度慢、缺乏交互性的问题,通过世界模型理解物理规律和场景动态,实现更连贯、可控的视频内容创作。核心能力包括:从文本或静态图像生成动态视频,支持用户交互式调整生成过程,并追求低延迟的实时输出。目前项目处于早期阶段(681星),代码库提供核心模型实现和推理脚本,适合研究人员和开发者探索世界模型在视频生成中的应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 686

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 120 分钟 部署方式:本地安装 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 大显存 GPU
  • Python 3.10+
  • 大量磁盘(权重)

安装与启动步骤

  1. 1克隆仓库

    目标是做可交互的动态世界生成,属于长期研究项目。

    git clone https://github.com/stdstu12/YUME
  2. 2准备环境

    仓库给了环境初始化脚本,先跑它再装依赖。

    ./env_setup.sh fastvideo
  3. 3装依赖

    requirements 覆盖训练与推理,编译包较多。

    pip install -r requirements.txt
  4. 4跑图像示例

    先用静态图生成验证权重与显存,再试视频。

    bash scripts/inference/sample_jpg.sh
  5. 5跑视频与语音

    视频与语音是不同脚本,分别验证。

    bash scripts/inference/sample.sh

如何确认成功

示例脚本能产出图像或短视频

注意事项

  • 项目仍在演进,脚本与文档可能不同步。
  • 全流程对显存要求高,先跑最小配置。

核心亮点

  • 实时生成能力突出,主打低延迟视频合成,区别于传统慢速生成模型。
  • 融合世界模型,视频动态更符合物理规律,提升连贯性和真实性。
  • 支持文本和图像双模态输入,交互式生成,创作灵活度高。

不足之处

  • 项目处于早期,文档和社区支持尚待完善。
  • 模型训练和推理资源需求高,普通硬件难以运行。

适用场景

  • 游戏和虚拟现实中的实时场景生成
  • 创意短视频的快速原型制作
  • 交互式艺术和动态内容创作

替代项目

CogVideo、ModelScope Text-to-Video、AnimateDiff

上一篇:phenaki-pytorch

下一篇:forge-film

同类项目推荐

stable-diffusion-videos 开源

两张图之间自动过渡,静态画面秒变动画

Create videos with Stable Diffusion by exploring the latent space and morphing betw···

★ 4710 2026-08-09
opensource-clipping 开源

长视频自动切成带字幕追踪的爆款短视频

Ultimate AI Auto-Clipper — Transform long-form videos & podcasts into viral shorts!···

★ 224 2026-09-23
EgoSim 开源

一句话生成第一人称交互视频,为具身智能造数据

[ECCV 2026] EgoSim: Egocentric World Simulator for Embodiment Interaction Generation

★ 73 2026-08-09
Automated-Video-Generator 开源

一句话生成带配音字幕的成片视频

Agentic AI video generator — fully autonomous text-to-video pipeline with free TTS/···

★ 128 2026-11-02
AnimateAnyMesh 开源

输入文本和网格,一键生成动态 4D 动画,告别手工绑定。

[ICCV 2025] Official code for AnimateAnyMesh: A Feed-Forward 4D Foundation Model for···

★ 342 2026-08-09
beyondsumi 开源

写段故事,自动生成水墨风旁白短片

Cinematic Sumi storytelling for YouTube creators. Three art styles, SVG, narration, ···

★ 101 2026-11-09
text2youtube 开源

输入文字,秒出 YouTube 视频,自动配音加字幕

Create youtube videos from a text prompt in seconds

★ 312 2026-08-09
FFAIVideo 开源

输入主题,AI 自动生成短视频,省时省力。

A node.js project that generates short videos using popular AI LLM.

★ 184 2026-08-09
RefAlign 开源

让视频生成严格跟随参考图,身份不跑偏

[ECCV 2026] Official PyTorch implementation of RefAlign: Representation Alignment fo···

★ 339 2026-08-09