open-genie

复现交互式世界模型，让 AI 生成可玩的视频环境

open-genie 是 DeepMind 论文《Genie: Generative Interactive Environments》的非官方 PyTorch 实现，旨在复现一个能根据文本或图像提示生成可交互视频环境的生成式基础模型。该项目解决的核心问题是：如何让 AI 不仅生成静态或动态视频，还能生成用户可实时控制的交互式世界。其核心能力包括：基于视频 tokenizer 将视频帧离散化为 token，通过自回归 transformer 学习世界模型，并支持用户动作控制环境演化。项目基于 PyTorch Lightning 构建，代码结构清晰，便于研究者理解 Genie 的架构细节并在此基础上进行二次开发。目前项目处于早期阶段，提供了基础训练和推理流程，但尚未发布预训练权重，主要面向对交互式世界模型感兴趣的研究者和开发者，用于学术研究和实验验证。