mixture_of_recursions

让简单 token 提前下班，难 token 多算几轮，省算力不降质

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 94 👀 关注 17

GitHub ↗

GitHub 星标 ★ 649

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源研究代码，免费使用

项目预览

mixture_of_recursions 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类模型训练

开发团队raymin0223

GitHubhttps://github.com/raymin0223/mixture_of_recursions

定价模式🏷️完全免费

价格说明开源研究代码，免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型adaptive-computation,early-exiting,kv-cache,llm,recursive-transformers,router

GitHub 星标★ 649

上线时间2025-06-16 00:00:00

代码更新2026-09-19

仓库体积2.3 MB

本站数据更新2026-11-06

维护状态维护中

收录时间2026-09-22

浏览次数4

项目介绍

Mixture-of-Recursions（MoR）是一个面向大语言模型训练与推理的递归 Transformer 架构实现，论文已被 NeurIPS 2025 接收。它要解决的核心问题是：标准 Transformer 对每个 token 都投入相同的计算量，而实际文本中不同 token 的预测难度差异巨大，导致大量算力浪费。MoR 的做法是让同一组参数被递归复用多次，并在每一层递归中通过轻量级路由器动态决定哪些 token 继续深入、哪些提前退出，从而在 token 级别实现自适应计算。项目同时提供 KV 缓存共享等推理优化，使递归深度增加时显存开销不线性膨胀。整体上，它把“参数共享 + 动态深度 + 路由”组合成一套可训练、可复用的方案，适合研究者在有限算力下探索更高效的 LLM 训练范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-22 · 当前星标 ★ 649

技术标签

kv-cache llm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级约 180 分钟部署方式：多卡训练 5 步

环境要求

多卡 GPU
Python 3.12
约百 G 语料空间

安装与启动步骤

1建环境

官方指定 Python 3.12，并要求先升级 pip 与 setuptools。
```
conda create -n mor python=3.12
```
2装 torch 与依赖

先装 torch 再装 requirements，顺序反了会拉到 CPU 版。
```
pip install torch
```
3拉预训练语料

官方脚本下 fineweb-edu 去重子集，体积不小，先确认磁盘。
```
bash lm_dataset/download_scripts/download_fineweb-edu-dedup.sh
```
4生成评测配置

按名字生成 few-shot 评测配置，名字要和训练配置区分开。
```
python util/generate_pretrain_eval_fewshot_configs --name mycfg
```
5起预训练加评测

一个脚本同时跑训练与 few-shot 评测，参数按位置传。
```
bash scripts/pretrain_eval_fewshot.sh local disabled 0,1 cfg1 cfg2
```