supermimic

用可微分世界模型教人形机器人全身跟动作

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 计算机视觉 🍴 复刻 92 🐛 待处理 23 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1420
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

supermimic 项目界面预览图
图片来源:项目官网

项目数据

分类计算机视觉
开发团队HybridRobotics
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 1420
上线时间2026-11-10 00:00:00
代码更新2026-11-11
仓库体积880 KB
本站数据更新2026-11-14
维护状态活跃
收录时间2026-11-14
浏览次数0

项目介绍

supermimic 是一个面向人形机器人全身运动跟踪的开源研究项目,核心思路是用一个可微分世界模型把视觉/状态观测与全身关节动作关联起来,让机器人能够在仿真中学习并跟踪复杂的人体动作。它要解决的问题是:传统方法依赖大量标注动作数据或手工设计奖励,难以在真实人形平台上稳定复现全身协调动作。项目通过可微分建模,让模型在训练中直接对动作跟踪误差进行梯度优化,从而提升全身姿态的连贯性和物理可行性。核心能力包括:全身动作跟踪、可微分世界模型训练、仿真环境下的策略学习与评估,以及面向人形机器人形态的配置管理。代码以 Python 为主,适合做具身智能、运动控制、机器人学习方向的研究者复现和二次开发,属于成长中的研究型项目。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-14 · 当前星标 ★ 1420

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:本地安装 5 步

环境要求

  • Linux/macOS 命令行环境,且已安装 git
  • Python 环境由 uv 自动创建与管理,无需手动安装 Python
  • 训练需要 NVIDIA GPU,通过 CUDA_VISIBLE_DEVICES 指定显卡编号
  • 需能访问 GitHub,并配置好 SSH 密钥(README 使用 git@github.com 地址)
  • supermimic 与 mjlab_research 两个仓库需克隆为同级目录

安装与启动步骤

  1. 1安装 uv

    README 要求先安装 uv,后续运行训练与回放脚本都通过 uv run 执行。

    curl -LsSf https://astral.sh/uv/install.sh | sh
  2. 2创建工作区并克隆仓库

    新建工作区目录,把 supermimic 与 mjlab_research 克隆为同级目录,再进入 supermimic。

    mkdir supermimic_ws && cd supermimic_ws
    git clone git@github.com:HybridRobotics/supermimic.git
    git clone git@github.com:HybridRobotics/mjlab_research.git
    cd supermimic
  3. 3选择任务 ID

    README 提供两个任务 ID:SuperMimic-GenCoord-G1(广义坐标)与 SuperMimic-MaxCoord-G1(最大坐标),按研究需要选用。

  4. 4训练世界模型与策略

    在 supermimic 目录下用 uv run 执行 train.py,把 <GPU_ID> 换成显卡编号,<TASK_ID> 换成任务 ID,run_name 填本次实验名。

    CUDA_VISIBLE_DEVICES=<GPU_ID> uv run src/supermimic/scripts/train.py <TASK_ID> --runner.run_name <description>
  5. 5回放训练结果

    训练完成后用 play.py 加载训练得到的 wandb 运行路径,回放该模型的动作跟踪效果。

    uv run src/supermimic/scripts/play.py <TASK_ID> --wandb-path <RUN_PATH>

关键配置

配置项必填说明示例
CUDA_VISIBLE_DEVICES是指定训练使用的 GPU 编号,多卡时按需填写0
TASK_ID是选择任务表示方式,决定使用哪套坐标配置SuperMimic-GenCoord-G1
--runner.run_name否本次训练运行的名称标识,便于区分不同实验supermimic-gencoord-run1
--wandb-path是回放时指定已训练运行的 wandb 路径/your/path/to/wandb/run

如何确认成功

训练命令能正常启动并持续输出日志、无报错;回放命令能按给定 wandb 路径加载模型并渲染动作。

常见问题

Q:两个仓库必须放在同一目录下吗?

A:是的,README 明确要求把 supermimic 和 mjlab_research 克隆为同级目录,且后续命令在 supermimic 目录内执行。

Q:需要手动安装 Python 依赖吗?

A:不需要,README 只要求安装 uv,训练与回放均通过 uv run 运行,环境与依赖由 uv 管理。

Q:两个任务 ID 有什么区别?

A:SuperMimic-GenCoord-G1 使用广义坐标表示,SuperMimic-MaxCoord-G1 使用最大坐标表示,可按研究目标任选其一训练。

Q:git clone 提示权限错误怎么办?

A:README 使用的是 SSH 地址,需要本机已配置 GitHub SSH 密钥;也可改用仓库页面提供的 HTTPS 地址克隆。

Q:回放时 wandb 路径从哪里获得?

A:来自训练过程记录的输出目录,需指向本次训练对应的 wandb 运行路径。

注意事项

  • 训练脚本依赖 GPU,未指定 CUDA_VISIBLE_DEVICES 时会默认占用可见显卡,请先确认显卡空闲。
  • 所有命令都要在 supermimic 目录内执行,不要在 supermimic_ws 根目录运行。
  • 项目基于 mjlab 构建,训练与回放均在仿真环境中进行,不涉及真机部署步骤。
  • 项目以 Apache License 2.0 发布,二次开发请遵守相应许可条款。

核心亮点

  • 用可微分世界模型做全身动作跟踪,思路新颖,区别于常见强化学习奖励工程路线
  • 面向人形机器人全身协调,而非只做上肢或单点跟踪,任务设定有研究价值
  • Python 实现,代码结构便于研究者复现和二次开发

不足之处

  • 偏研究原型,缺少开箱即用的部署工具和详细工程文档
  • 真实机器人迁移与鲁棒性验证信息有限,社区规模仍小

适用场景

  • 人形机器人全身动作模仿与运动控制研究
  • 具身智能中可微分世界模型的实验验证
  • 机器人学习课程或实验室的复现与二次开发

替代项目

humanoid-gym、PHC、imitation-learning-robot

上一篇:imagej2

下一篇:没有了!

同类项目推荐

OpenOCR 开源

一套框架搞定 OCR 训练、评测与文档解析落地

OpenOCR: An Open-Source Toolkit for General-OCR Research and Applications, integrate···

★ 1498 2026-09-29
SteerX 开源

免相机标定,一键生成可操控的 3D/4D 动态场景

[ICCV 2025] Official pytorch implementation of "SteerX: Creating Any Camera-Free 3D ···

★ 52 2026-08-09
lw.PPOCR.C 开源

纯 C 无依赖跑 PP-OCR,端侧和浏览器都能直接 OCR

轻量级、无运行时依赖的纯 C PP-OCR 推理运行时,支持 PP-OCRv6 Tiny/Small/Medium、DET/C···

★ 172 2026-09-19
YoloSharp 开源

C# 里直接跑 YOLO11,检测分割分类一把梭

A high performance real-time object detection solution using YOLO11 ⚡️ powered by ···

★ 569 2026-10-19
DriveLM 开源

用图问答让自动驾驶学会推理和解释

[ECCV 2024 Oral] DriveLM: Driving with Graph Visual Question Answering

★ 1352 2026-08-09
tessera 开源

让卫星影像按时间流动,一键提取地表变化规律

[CVPR26] TESSERA is a foundation model that can process time-series satellite imager···

★ 779 2026-08-09
yolo-flutter-app 开源

Flutter 一行调用,手机端跑 YOLO 实时识别

Official Ultralytics YOLO Flutter plugin for real-time inference on Android and iOS ···

★ 513 2026-09-13
plotoptix 开源

用光线追踪让 Python 数据可视化秒变电影级 3D 大片

Data visualisation and ray tracing in Python based on OptiX 9.1 framework.

★ 519 2026-08-09
compv 开源

ARM/x86 上跑视觉算法,比 OpenCV 快最多 50 倍

Insanely fast Open Source Computer Vision library for ARM and x86 devices (Up to #50···

★ 212 2026-09-28