World-R1

给视频生成加上3D物理约束,让画面更稳定不扭曲

开源 🏷️定价信息待确认 ✅ 目前可打开 视频生成 🍴 复刻 18 🐛 待处理 3 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 429
维护状态 低维护
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

World-R1 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队microsoft
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议MIT
主要语言Python
技术栈/模型3d-foundation-model,icml-2026,reinforcement-learning,video-generation,world-models
GitHub 星标★ 429
上线时间2026-03-18 00:00:00
代码更新2026-06-03
仓库体积78.5 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

World-R1 是一个面向文本到视频生成任务的强化学习框架,核心思路是在视频生成过程中注入 3D 约束,以提升生成内容的物理合理性和时空一致性。它解决了现有视频生成模型常出现的物体形变、运动不自然、场景结构混乱等问题。项目基于 3D 基础模型,通过强化学习让生成器在优化过程中显式地遵循 3D 几何与运动规则,从而在保持文本语义对齐的同时,获得更稳定的视频输出。该框架支持训练和推理流程,并提供与主流视频生成模型的集成接口。作为 ICML 2026 的早期开源项目,其代码结构清晰,适合研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 429

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 65 分钟 部署方式:本地GPU 5 步

环境要求

  • NVIDIA GPU(显存 24GB 起)
  • CUDA 12.x

安装与启动步骤

  1. 1建环境

    官方指定 Python 3.10。

    conda create -n world-r1 python=3.10 -y
  2. 2装对应 CUDA 的 torch

    torch 与 CUDA 版本必须对上,装错第一次前向就崩。

    pip install torch torchvision --index-url https://download.pytorch.org/whl/cu124
  3. 3装其余依赖

    按 requirements 装,注意扩散框架版本。

    pip install -r requirements.txt
  4. 4下基座与奖励模型权重

    仓库不含权重,按说明分别获取。

  5. 5跑一次推理对比

    同一提示词比较开与不开对齐的效果。

如何确认成功

同一段提示词下,开启对齐后的生成结果在相机运动与物体空间关系上更符合描述,而不是只有画面更好看

注意事项

  • 它用强化学习让文生视频对齐三维约束,不改基座架构也不依赖大规模三维标注。
  • 训练部分门槛高,多数人只需要用它的推理与评测脚本。
  • 三维约束的判定依赖额外的几何模型,那部分权重要单独准备。
  • 视频生成耗时以分钟计,先降分辨率与帧数验证链路。
  • 基座模型的许可决定输出能否商用,看模型卡。

核心亮点

  • 将3D几何约束引入强化学习奖励,直接改善视频中的物体形变和运动不自然问题
  • 提供与主流文本到视频模型的集成接口,便于在现有生成流程上快速接入
  • 代码结构模块化,训练与推理分离,适合学术复现和二次开发

不足之处

  • 项目处于早期阶段,文档和示例尚不完善,上手门槛较高
  • 依赖3D基础模型,对硬件资源要求较高,普通设备难以运行

适用场景

  • 研究视频生成中的物理一致性问题,如物体运动合理性
  • 开发需要高时空稳定性的视频生成应用,如自动驾驶场景模拟
  • 在文本到视频生成流程中引入可控的3D结构约束

替代项目

VideoPoet、ModelScope Text-to-Video、CogVideo

同类项目推荐

YUME 开源

用世界模型实时生成可交互视频,从文本或图片秒变动态画面。

The official code of Yume

★ 686 2026-08-09
video-diffusion-pytorch 开源

用 PyTorch 实现扩散模型,从文本生成连贯视频

Implementation of Video Diffusion Models, Jonathan Ho's new paper extending DDPMs to···

★ 1392 2026-08-09
agnes-ai-video-suite 开源

输入文字,自动生成带旁白字幕的多场景视频

Best Open Source AI Video Generator 2026: Text to Multi-Scene Movies with Narration ···

★ 137 2026-08-09
reelpack-alpha 开源

把视频拆成分镜、字幕和画面文字,喂给 AI 直接用

Reelpack — 给 AI 的视频理解引擎 / The Video-Understanding Engine for AI · License:···

★ 170 2026-11-08
ZoomVideoComposer 开源

把静态图片一键变成推拉镜头视频,适合AI绘画作品展示

Pyhton script for generating zoom in/out videos from a set of images

★ 123 2026-08-09
brainrot.js 开源

选个名人风格,把文字变成脑腐短视频,轻松涨粉

Text to video generator in the brainrot form. Learn about any topic from your favori···

★ 958 2026-08-09
CueRecord 开源

Mac 上录屏+提词+AI 剪呼吸,一站式搞定口播视频

Native macOS screen recorder with teleprompter, camera overlay, system audio capture···

★ 65 2026-08-09
vibe-knowledge 开源

一个知识点,一键生成带旁白和出处的知识短片

Vibe 知识大赏:一个知识点 → 一条有旁白、每句有出处的精品知识短片(Claude Code skill···

★ 601 2026-11-02
muapi-comfyui 开源

在 ComfyUI 里一键调用 100+ 主流 AI 生成模型

ComfyUI custom nodes for 600+ AI models — Seedance, Kling, Veo3, Flux, HiDream, GPT···

★ 81 2026-08-09