mixture_of_recursions

让简单 token 提前下班，难 token 多算几轮，省算力不降质

Mixture-of-Recursions（MoR）是一个面向大语言模型训练与推理的递归 Transformer 架构实现，论文已被 NeurIPS 2025 接收。它要解决的核心问题是：标准 Transformer 对每个 token 都投入相同的计算量，而实际文本中不同 token 的预测难度差异巨大，导致大量算力浪费。MoR 的做法是让同一组参数被递归复用多次，并在每一层递归中通过轻量级路由器动态决定哪些 token 继续深入、哪些提前退出，从而在 token 级别实现自适应计算。项目同时提供 KV 缓存共享等推理优化，使递归深度增加时显存开销不线性膨胀。整体上，它把“参数共享 + 动态深度 + 路由”组合成一套可训练、可复用的方案，适合研究者在有限算力下探索更高效的 LLM 训练范式。