genrl

用语言或视频直接指挥机器人，先看效果再训练。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 6 🐛 待处理 5 👀 关注 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 87
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

genrl 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队mazpie
官网地址https://mazpie.github.io/genrl
GitHubhttps://github.com/mazpie/genrl
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型embodied-agent,embodied-ai,foundation-models,multimodal,reinforcement-learning,world-models
GitHub 星标★ 87
上线时间2024-06-25 00:00:00
代码更新2025-04-04
仓库体积84.9 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

GenRL 是一个基于多模态基础世界模型的强化学习框架，旨在将自然语言和视频提示转化为具体可执行的动作序列。它通过将语言和视频输入编码为潜在世界模型状态序列，再利用解码器生成预期行为的可视化，从而在训练智能体之前先预览其行为。该项目解决了多模态提示与具身智能体之间的鸿沟，使非专家用户也能通过自然语言或视频指导智能体完成复杂任务。核心能力包括多模态提示理解、世界模型状态序列生成、行为可视化和策略学习。其创新点在于利用基础模型的世界模型能力，实现跨模态的意图传递和动作规划，为具身智能提供了一种新的交互范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 87

核心亮点

  • 将语言和视频统一为潜在状态序列，实现真正的多模态指令理解。
  • 支持行为预可视化，训练前即可预览智能体预期动作，降低试错成本。
  • 基于NeurIPS 2024论文，学术前沿，方法有理论支撑。

不足之处

  • 项目处于早期，星标仅87，社区和文档尚不完善。
  • 依赖多模态基础模型，推理和训练资源需求较高。

适用场景

  • 机器人操作任务的自然语言指令执行。
  • 基于视频演示的智能体行为克隆与泛化。
  • 多模态交互式强化学习环境中的策略学习。

替代项目

VPT (Video PreTraining)、GATO (DeepMind)、RT-2 (Google)

上一篇：Medea

下一篇：cactus

同类项目推荐

MiniMax-MCP-JS 开源

一条命令接入 MiniMax 多模态能力，让 AI 应用轻松生成图像视频语音。

Official MiniMax Model Context Protocol (MCP) JavaScript implementation that provide···

★ 130 2026-08-09
ntm 开源

在 tmux 里一键平铺管理多个 AI 编程代理

Named Tmux Manager: a Go control plane to spawn, tile, and coordinate multiple AI co···

★ 463 2026-08-09
Claude-Skills 开源

给 AI 助手装上 385 个现成技能，开箱即用

403 AI skills, 76 expert agents, and 973 stdlib Python tools for every team: enginee···

★ 1074 2026-10-30
memanto 开源

给 AI 装上长期记忆，让对话不再失忆

Memory that AI Agents Love!

★ 2360 2026-08-09
darwinia 开源

让交易智能体像生物一样进化，自动跑赢市场

The Self-Evolving Agent Ecosystem — Trading agents that evolve through Darwinian se···

★ 84 2026-08-09
SkillX 开源

自动把工具调用经验变成智能体技能库，让新任务上手更快

SkillX: Automatically Constructing Skill Knowledge Bases for Agents

★ 300 2026-08-09
ai-agent-papers 开源

每周更新，系统收录AI智能体前沿论文，快速掌握领域脉络。

A collection of AI Agents papers (Updated biweekly)

★ 1726 2026-08-09
lmc-5 开源

给长期运行的AI智能体装上五轴记忆，告别失忆。

Living Memory Coordinate-5: five-axis memory architecture for long-running LLM agent···

★ 159 2026-08-09
flyai-skill 开源

给 AI Agent 装现成技能，少写工具代码

fly ai agent skill

★ 1289 2026-09-12