项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 547
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- PyTorch
- 单卡 24G 以上显存
- 机器人演示数据
安装与启动步骤
-
1拉仓库备环境
按仓库说明建虚拟环境，注意它锁定的 PyTorch 版本。
git clone https://github.com/liruiw/HPT.git -
2下预训练权重
脚本直接吃 hf:// 路径，先确认网络能拉 Hugging Face。
-
3跑一次微调脚本
先用 20 任务的 metaworld 配置验证管线通不通。
bash experiments/scripts/metaworld/train_test_metaworld_20task_finetune.sh hf://liruiw/hpt-base -
4换成自己的机器人数据
数据接口是整套东西里最需要改的部分。
-
5对比从头训
不对比就看不出预训练权重到底帮了多少。
如何确认成功
用预训练权重微调 20 个 metaworld 任务，成功率明显高于同配置从头训练，且日志里能看到每任务的分项结果
注意事项
- 论文是 NeurIPS 2024 Spotlight，核心是把视觉与本体感知拼成异构 token 再统一建模。
- 权重在 Hugging Face 上，脚本用 hf:// 前缀直接引用，省掉手动下载。
- 它偏研究代码，接口围绕论文实验组织，接自己产线要重写数据层。
- 显存和训练时长是主要门槛，先跑 smoke 配置再上全量。
核心亮点
- 提出异构预训练Transformer架构，能处理不同机器人形态和传感器配置，泛化性强
- 预训练+微调范式，显著降低下游任务的数据需求，提升样本效率
- 代码结构清晰，基于PyTorch，易于扩展和二次开发
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 依赖大规模异构数据预训练，个人开发者难以复现完整实验
适用场景
- 多机器人本体策略学习与迁移
- 机器人操作任务的预训练与快速微调
- 具身智能研究中的通用策略基础模型
替代项目
RT-1 (Robotics Transformer)、BC-Z、Gato (DeepMind)
上一篇：LLM4TS
下一篇：HyperSIGMA
同类项目推荐
Awesome-Code-LLM
开源
一站式导航代码大模型研究，快速找到你需要的一切
[TMLR] A curated list of language modeling researches for code (and other software e···
Differential-Transformer-PyTorch
开源
用差分注意力降低噪声，让模型更聚焦关键信息
PyTorch implementation of the Differential-Transformer architecture for sequence mod···
fast-stable-diffusion
开源
一键加速 SD 训练与生成，低配也能玩转 DreamBooth
fast-stable-diffusion + DreamBooth
BioReason
开源
让 AI 读懂 DNA，自动进行多模态生物推理
BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model | ···
IvyGPT
开源
让AI看病像医生一样，边问边推理，给出透明诊断路径
[CICAI 2023] The official codes for "Ivygpt: Interactive chinese pathway language mo···
awesome-deep-learning-resource
开源
一站式收藏深度学习论文笔记与优质开源资源，省去全网搜索时间。
个人总结的大模型、Agent、多模态、自然语言处理NLP、计算机视觉CV等方向paper的阅读笔记；···
llama2
开源
用 Llama 2 快速搭个能聊天的网页应用
This chatbot app is built using the Llama 2 open source LLM from Meta.
awesome-local-llm
开源
一站式找到本地跑大模型的所有工具和教程
A curated list of awesome platforms, tools, practices and resources that helps run L···
small-doge
开源
小模型也能跑得溜，低资源部署不将就。
Doge Family of Small Language Models