项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 429
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU(显存 24GB 起)
- CUDA 12.x
安装与启动步骤
-
1建环境
官方指定 Python 3.10。
conda create -n world-r1 python=3.10 -y -
2装对应 CUDA 的 torch
torch 与 CUDA 版本必须对上,装错第一次前向就崩。
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu124 -
3装其余依赖
按 requirements 装,注意扩散框架版本。
pip install -r requirements.txt -
4下基座与奖励模型权重
仓库不含权重,按说明分别获取。
-
5跑一次推理对比
同一提示词比较开与不开对齐的效果。
如何确认成功
同一段提示词下,开启对齐后的生成结果在相机运动与物体空间关系上更符合描述,而不是只有画面更好看
注意事项
- 它用强化学习让文生视频对齐三维约束,不改基座架构也不依赖大规模三维标注。
- 训练部分门槛高,多数人只需要用它的推理与评测脚本。
- 三维约束的判定依赖额外的几何模型,那部分权重要单独准备。
- 视频生成耗时以分钟计,先降分辨率与帧数验证链路。
- 基座模型的许可决定输出能否商用,看模型卡。
核心亮点
- 将3D几何约束引入强化学习奖励,直接改善视频中的物体形变和运动不自然问题
- 提供与主流文本到视频模型的集成接口,便于在现有生成流程上快速接入
- 代码结构模块化,训练与推理分离,适合学术复现和二次开发
不足之处
- 项目处于早期阶段,文档和示例尚不完善,上手门槛较高
- 依赖3D基础模型,对硬件资源要求较高,普通设备难以运行
适用场景
- 研究视频生成中的物理一致性问题,如物体运动合理性
- 开发需要高时空稳定性的视频生成应用,如自动驾驶场景模拟
- 在文本到视频生成流程中引入可控的3D结构约束
替代项目
VideoPoet、ModelScope Text-to-Video、CogVideo
同类项目推荐
YUME
开源
用世界模型实时生成可交互视频,从文本或图片秒变动态画面。
The official code of Yume
video-diffusion-pytorch
开源
用 PyTorch 实现扩散模型,从文本生成连贯视频
Implementation of Video Diffusion Models, Jonathan Ho's new paper extending DDPMs to···
agnes-ai-video-suite
开源
输入文字,自动生成带旁白字幕的多场景视频
Best Open Source AI Video Generator 2026: Text to Multi-Scene Movies with Narration ···
reelpack-alpha
开源
把视频拆成分镜、字幕和画面文字,喂给 AI 直接用
Reelpack — 给 AI 的视频理解引擎 / The Video-Understanding Engine for AI · License:···
ZoomVideoComposer
开源
把静态图片一键变成推拉镜头视频,适合AI绘画作品展示
Pyhton script for generating zoom in/out videos from a set of images
brainrot.js
开源
选个名人风格,把文字变成脑腐短视频,轻松涨粉
Text to video generator in the brainrot form. Learn about any topic from your favori···
CueRecord
开源
Mac 上录屏+提词+AI 剪呼吸,一站式搞定口播视频
Native macOS screen recorder with teleprompter, camera overlay, system audio capture···
vibe-knowledge
开源
一个知识点,一键生成带旁白和出处的知识短片
Vibe 知识大赏:一个知识点 → 一条有旁白、每句有出处的精品知识短片(Claude Code skill···
muapi-comfyui
开源
在 ComfyUI 里一键调用 100+ 主流 AI 生成模型
ComfyUI custom nodes for 600+ AI models — Seedance, Kling, Veo3, Flux, HiDream, GPT···
