
YUME
用世界模型实时生成可交互视频,从文本或图片秒变动态画面。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 686
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 大显存 GPU
- Python 3.10+
- 大量磁盘(权重)
安装与启动步骤
-
1克隆仓库
目标是做可交互的动态世界生成,属于长期研究项目。
git clone https://github.com/stdstu12/YUME -
2准备环境
仓库给了环境初始化脚本,先跑它再装依赖。
./env_setup.sh fastvideo -
3装依赖
requirements 覆盖训练与推理,编译包较多。
pip install -r requirements.txt -
4跑图像示例
先用静态图生成验证权重与显存,再试视频。
bash scripts/inference/sample_jpg.sh -
5跑视频与语音
视频与语音是不同脚本,分别验证。
bash scripts/inference/sample.sh
如何确认成功
示例脚本能产出图像或短视频
注意事项
- 项目仍在演进,脚本与文档可能不同步。
- 全流程对显存要求高,先跑最小配置。
核心亮点
- 实时生成能力突出,主打低延迟视频合成,区别于传统慢速生成模型。
- 融合世界模型,视频动态更符合物理规律,提升连贯性和真实性。
- 支持文本和图像双模态输入,交互式生成,创作灵活度高。
不足之处
- 项目处于早期,文档和社区支持尚待完善。
- 模型训练和推理资源需求高,普通硬件难以运行。
适用场景
- 游戏和虚拟现实中的实时场景生成
- 创意短视频的快速原型制作
- 交互式艺术和动态内容创作
替代项目
CogVideo、ModelScope Text-to-Video、AnimateDiff
上一篇:phenaki-pytorch
下一篇:forge-film
同类项目推荐
stable-diffusion-videos
开源
两张图之间自动过渡,静态画面秒变动画
Create videos with Stable Diffusion by exploring the latent space and morphing betw···
opensource-clipping
开源
长视频自动切成带字幕追踪的爆款短视频
Ultimate AI Auto-Clipper — Transform long-form videos & podcasts into viral shorts!···
EgoSim
开源
一句话生成第一人称交互视频,为具身智能造数据
[ECCV 2026] EgoSim: Egocentric World Simulator for Embodiment Interaction Generation
Automated-Video-Generator
开源
一句话生成带配音字幕的成片视频
Agentic AI video generator — fully autonomous text-to-video pipeline with free TTS/···
AnimateAnyMesh
开源
输入文本和网格,一键生成动态 4D 动画,告别手工绑定。
[ICCV 2025] Official code for AnimateAnyMesh: A Feed-Forward 4D Foundation Model for···
beyondsumi
开源
写段故事,自动生成水墨风旁白短片
Cinematic Sumi storytelling for YouTube creators. Three art styles, SVG, narration, ···
text2youtube
开源
输入文字,秒出 YouTube 视频,自动配音加字幕
Create youtube videos from a text prompt in seconds
FFAIVideo
开源
输入主题,AI 自动生成短视频,省时省力。
A node.js project that generates short videos using popular AI LLM.
RefAlign
开源
让视频生成严格跟随参考图,身份不跑偏
[ECCV 2026] Official PyTorch implementation of RefAlign: Representation Alignment fo···