Motus

一个模型同时生成视频和控制机器人,让机器人从视频中学习世界规律。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 视频生成 🍴 复刻 84 🐛 待处理 35 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 1316
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,代码公开,可自行部署使用,无付费版本。

项目预览

Motus 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类视频生成
开发团队thu-ml
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,代码公开,可自行部署使用,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型diffusion-model,robotic-manipulation,robotics,unidiffuser,video-generation,vision-language-action-model,world-model
GitHub 星标★ 1316
上线时间2025-12-12 00:00:00
代码更新2026-10-09
仓库体积302 KB
本站数据更新2026-11-08
维护状态维护中
收录时间2026-08-09
浏览次数4

项目介绍

Motus 是一个统一潜在动作世界模型,用于视频生成和机器人操作。它基于扩散模型,将视觉、语言和动作融合到一个潜在空间中,通过预测未来的视频帧来学习世界的动态规律。该模型能够根据文本指令或视觉观察生成连贯的视频序列,并直接输出机器人的动作指令,实现视觉-语言-动作的端到端学习。Motus 的核心能力在于统一了视频生成和机器人控制两个任务,使模型能够从视频数据中学习通用的世界知识,并将其迁移到具体的操作任务中。它解决了机器人学习中的数据稀缺和泛化问题,通过大规模视频预训练和动作微调,提升了机器人在复杂环境中的操作能力。项目提供了官方代码和预训练模型,支持多种机器人操作场景,为具身智能和世界模型研究提供了新的思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1316

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 6 步

环境要求

  • Python 环境(README 未指定最低版本,需能使用 pip 安装 PyTorch 2.7.1)
  • 支持 CUDA 12.8 的 NVIDIA GPU(torch 与 flash-attn 均按 cu128 安装)
  • 已安装 pip,并能访问 PyPI 与 PyTorch 官方源 download.pytorch.org
  • 预训练权重需从 Hugging Face 的 motus-robotics 组织获取

安装与启动步骤

  1. 1获取项目代码

    从 GitHub 克隆 Motus 仓库到本地,后续所有安装命令都在仓库根目录执行。

    git clone https://github.com/thu-ml/Motus.git
    cd Motus
  2. 2安装 PyTorch

    按 README 指定版本安装 CUDA 12.8 版 torch 2.7.1 与 torchvision 0.22.1,注意 --index-url 不能省。

    pip install torch==2.7.1 torchvision==0.22.1 --index-url https://download.pytorch.org/whl/cu128
  3. 3安装 FlashAttention

    安装 flash-attn,README 要求加 --no-build-isolation,否则编译常报错,编译耗时较长。

    pip install flash-attn --no-build-isolation
  4. 4安装项目依赖

    安装仓库根目录 requirements.txt 中列出的 Motus 运行依赖。

    pip install -r requirements.txt
  5. 5可选装 LeRobot

    仅在需要 LeRobot 相关数据/环境时执行,先 --no-deps 装本体,再装其附加依赖。

    pip install --no-deps lerobot==0.3.2
    pip install -r requirements/lerobot.txt
  6. 6运行推理

    README 指向 INFERENCE.md 获取详细推理流程;RoboTwin 2.0 评测与真机推理各有子目录说明。

如何确认成功

各步 pip 安装均无报错,且 `import torch` 后 torch.cuda.is_available() 返回 True。

常见问题

Q:flash-attn 安装编译失败怎么办?

A:确认已加 --no-build-isolation,并保证 torch 先装好、CUDA 版本为 12.8;该包需要本地编译,耗时较长属正常现象。

Q:能不能只装 CPU 版 PyTorch?

A:README 只给出 cu128 的安装命令,未提供 CPU 版本说明,使用 CPU 环境可能无法按文档正常运行。

Q:必须安装 lerobot 吗?

A:不是。README 标注该步骤为 Optional,仅在需要 LeRobot 相关依赖时才安装。

Q:推理命令在哪里?

A:README 未在正文给出推理命令,请查看仓库中的 INFERENCE.md,以及 inference/robotwin/Motus/README.md。

注意事项

  • 所有 pip 安装命令需在克隆下来的 Motus 仓库根目录执行,requirements 路径才能正确解析。
  • flash-attn 需要本地编译,建议预留足够时间和磁盘空间。
  • README 节选未包含 Requirements 与 Model Checkpoints 的完整内容,环境版本与权重下载方式请以仓库原文为准。
  • RoboTwin 2.0 与真机推理的流程差异较大,请分别参考对应子目录文档。

核心亮点

  • 统一视频生成和机器人动作预测,实现视觉-语言-动作端到端学习
  • 基于扩散模型,生成视频质量高,动作预测更精准
  • 提供官方预训练模型和代码,易于复现和二次开发

不足之处

  • 模型训练和推理计算资源需求高,部署门槛不低
  • 文档/社区待观察

适用场景

  • 机器人操作技能学习,如抓取、放置等
  • 视频生成与预测,用于模拟环境或数据增强
  • 具身智能研究,探索世界模型与决策结合

替代项目

UniPi、GR-1、RoboFlamingo

上一篇:Endora

下一篇:Epona

同类项目推荐

sealeap-amazon-skills 开源

把亚马逊运营拆成AI可调用的技能包

Reusable Agent Skills for Amazon product research, listings, advertising, inventory,···

★ 401 2026-10-24
open-lx01 开源

破解小爱音箱Mini,自由接入任意大模型对话

小爱音箱mini定制固件 Let the Xiao Ai Speaker Mini free

★ 303 2026-08-09
AlpacaTradingAgent 开源

用多个AI智能体自动分析行情并下单交易

AlpacaTradingAgent: Multi-Agents LLM Financial Trading Framework and perform trades ···

★ 283 2026-10-07
artex-ko 开源

让 AI 智能体替你跑渗透测试,韩语母语直接上手

Global edition of ARTEX — an LLM multi-agent autonomous penetration-testing framewo···

★ 2883 2026-10-09
biochatter 开源

用 LLM 和知识图谱,快速搭建生物医学问答机器人

Backend library for conversational AI in biomedicine

★ 223 2026-08-09
circuitron 开源

用大白话描述电路,自动生成 PCB 设计图

Circuitron: Agentic PCB Design Accelerator — Generate, plan, and layout circuits fr···

★ 129 2026-08-09
subtitle-translator 开源

批量字幕秒翻,支持百余语言和主流大模型

Translate a whole season of subtitles in one pass — .srt/.ass/.vtt/.lrc, 120+ langu···

★ 1189 2026-08-09
AgentLens 开源

在可信区块链市场上买卖你的 AI Agent,把知识变成资产

Agentlens is a trusted agent trading platform. Here, you can quickly find the Agent···

★ 1013 2026-08-10