HRM-Text

1B小模型也能做复杂推理，任务完成更靠谱

HRM-Text 是一个基于 HRM 架构的 1B 参数文本生成模型，专注于通过任务完成和潜在空间推理增强生成能力。它解决了小型语言模型在复杂推理任务上表现不足的问题，通过引入潜在空间推理机制，使模型在参数规模较小的情况下仍能进行多步逻辑推理和任务规划。核心能力包括文本生成、任务分解与执行、以及基于潜在空间的隐式推理。该模型适合资源受限环境下的部署，同时为研究社区提供了探索高效推理架构的新方向。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2071

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队sapientinc

所属国家

官网地址

GitHubhttps://github.com/sapientinc/HRM-Text

定价模式free

价格说明开源模型，Apache-2.0许可，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型hierarchical-reasoning-model,hrm,large-language-models,pretraining

GitHub 星标★ 2071

30天Star增速

HF 下载量

上线时间2026-05-18 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：高级约 60 分钟部署方式：Docker 5 步

环境要求

Python 环境（源码安装时）
PyTorch、CUDA 与 FlashAttention 3（源码安装时，版本见 docker/Dockerfile）
Docker 及 NVIDIA Container Toolkit（GPU 可见）
目标尺寸对应 GPU：L/0.6B 需 8×H100 单节点，XL/1B 需 16×H100 双节点
Weights & Biases 账号用于训练日志记录

安装与启动步骤

1克隆仓库

把 HRM-Text 源码拉到本地，后续 Docker 命令需在仓库目录下执行。
```
git clone https://github.com/sapientinc/HRM-Text.git
cd HRM-Text
```
2启动 Docker 容器

用官方镜像启动，--gpus all 让容器可见 GPU，并挂载当前仓库到 /workspace。
```
docker run --gpus all --ipc=host --network=host -it -v "$PWD":/workspace sapientai/hrm-text:latest
```
3源码安装依赖

不用 Docker 时先自行装好 PyTorch、CUDA、FlashAttention 3，再装 Python 依赖。
```
pip install -r requirements.txt
```
4登录 W&B

训练指标会记录到 Weights & Biases，启动训练前需先登录。
```
wandb login
```
5无界面登录 W&B

无浏览器环境时，从 wandb.ai/authorize 获取 API Key 后直接登录。
```
wandb login 
```

关键配置

配置项	必填	说明	示例
`config/arch/net`	是	选择模型架构配置，如 hrm、transformer、trm 等	`hrm`
`config/arch/size`	是	选择模型尺寸，如 B、L、XL、XXL、XXL_wide	`XL`
`half_layers`	否	HRM 与 RINS 下将层数均分给 H、L 两个模块	`true`

如何确认成功

容器正常启动并进入镜像内环境；wandb login 成功后可开始按配置发起预训练。

常见问题

Q：需要多少 GPU 才能跑预训练？

A：L（0.6B）需 8 张 H100 单节点约 50 小时；XL（1B）需 16 张 H100 双节点约 46 小时，按 $2/H100 小时估算。

Q：多节点训练要注意什么？

A：每个节点挂载同一共享工作区，保证代码、分词数据和 checkpoint 目录路径完全一致，避免各 rank 版本漂移。

Q：不用 Docker 怎么装？

A：先自行安装 PyTorch、CUDA 和 FlashAttention 3，测试版本见 docker/Dockerfile，再执行 pip install -r requirements.txt。

Q：W&B 无浏览器怎么登录？

A：在 wandb.ai/authorize 获取 API Key，然后执行 wandb login 。

注意事项

Docker 运行需 NVIDIA Container Toolkit 让容器可见 GPU。
多节点建议统一共享工作区布局，如 /shared/HRM-Text 与 /shared/data_io。
预训练成本较高，L 约 $800、XL 约 $1472。

核心亮点

在1B参数规模下实现潜在空间推理，推理效率高
针对任务完成场景优化，生成结果更贴合实际需求
基于HRM架构，设计新颖，有学术研究价值

不足之处

模型规模较小，复杂知识问答能力有限
文档/社区待观察

适用场景

资源受限的端侧文本生成
需要多步推理的轻量级AI助手
学术研究：小模型推理机制探索

替代项目

TinyLlama、Phi-2、Qwen-1.5B

项目介绍

HRM-Text 是开源模型领域的开源项目，由 sapientinc 开发，是 2026 年新上线的项目。

在全站 13,014 个收录项目中，它的 GitHub 星标数（2,071）位列前 30%，在开源模型分类中处于中上游。

近 42 天，它的 GitHub 星标从 1,825 增加到 2,071，净增 246。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0许可，完全免费，可自行部署使用。

它主要面向的使用场景是：资源受限的端侧文本生成。同类可对比的替代方案包括 TinyLlama、Phi-2、Qwen-1.5B。

上一篇：awesome-personalized-lmms

下一篇：HLA