iVideoGPT

用视频生成预测未来,让机器人学会操作

iVideoGPT 是一个基于交互式视频生成的可扩展世界模型,来自 NeurIPS 2024 论文。它通过自回归 Transformer 架构,将视频预测、动作条件和多模态理解统一到一个框架中,解决了机器人操作中模型泛化能力弱、训练数据需求大的问题。核心能力包括:支持高维视觉输入的视频预测、基于动作条件的未来状态生成,以及跨具身(如机械臂)的预训练与微调。项目提供官方代码和预训练模型,旨在推动视觉-动作联合建模,为机器人学习提供可扩展的基础模型。

开源 free 视频生成
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 187
维护状态 低维护
是否开源 是
定价模式 free

项目数据

分类视频生成
开发团队thuml
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,需自行部署。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型gpt,model-based-reinforcement-learning,open-x-embodiment,robotic-manipulation,video-generation,video-prediction,visual-planning,world-model
GitHub 星标★ 187
30天Star增速
HF 下载量
上线时间2024-05-24 00:00:00
最近更新2026-08-03 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

核心亮点

  • 统一视频预测与动作条件,可直接用于机器人策略学习
  • 基于自回归 Transformer,支持高维视觉输入的可扩展训练
  • 提供 Open X-Embodiment 预训练,跨机器人平台迁移性强

不足之处

  • 文档/社区待观察
  • 依赖大规模计算资源,复现门槛较高

适用场景

  • 机器人操作策略的预训练与微调
  • 视频预测驱动的规划与控制
  • 多模态世界模型的学术研究

替代项目

DreamerV3、IRIS、VideoGPT

项目介绍

iVideoGPT 是视频领域的开源项目,由 thuml 开发,2024 年首次发布。

它收录于视频分类,该分类目前共有 473 个项目,GitHub 星标数为 187。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-08-03。MIT许可证,完全免费,需自行部署。

它主要面向的使用场景是:机器人操作策略的预训练与微调。同类可对比的替代方案包括 DreamerV3、IRIS、VideoGPT。

同类项目推荐

MoneyPrinterTurbo 开源

输入一句话,高清短视频自动出炉,文案配音全包了

利用 AI 大模型和自动化工作流,根据主题或关键词一键生成高清短视频。Generate HD short ···

★ 125106 2026-08-09
seedance-2.0-api 开源

快速上手字节Seedance 2.0,文本/图片一键生成视频

Seedance 2.0 API — text-to-video and image-to-video examples

★ 332 2026-08-26
openscreen 开源

免费无水印录屏做演示,替代 Screen Studio

Record your screen, ship a demo. Free and open-source, GPU-accelerated, no watermark···

★ 3185 2026-08-10
auto-subs 开源

在剪辑软件里直接生成字幕,省去导出导入的麻烦

On-device subtitle generation that connects directly to DaVinci Resolve, Premiere, a···

★ 4266 2026-08-10