项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 459
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU（多卡更佳）
- Python
- 基座权重
安装与启动步骤
-
1拉代码装环境
研究工程，按仓库说明。
-
2下扩散语言模型权重
基座模型要单独获取。
-
3先做掩码微调
两阶段的第一阶段。
-
4再跑强化学习
第二阶段是策略优化。
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 bash run.sh -
5跑评测
对比自回归基线的推理得分。
如何确认成功
两阶段流程能跑通，数学类评测分数相比未对齐基座有明显提升
注意事项
- 它把强化学习用到扩散式语言模型上，补的是这类模型在多步推理上的短板。
- 两阶段顺序不能反，第一阶段给出可用的初始策略。
- 策略优化部分对显存要求高，单卡只能跑很小规模。
- 论文强调其概率估计方法是为掩码式模型专门设计的，别换成通用实现。
核心亮点
- 把 RL 后训练引入扩散 LLM，针对推理任务而非单纯文本生成，方向较新
- 提供官方训练与评测代码，可复现论文中的推理基准结果
- 支持在现有扩散语言模型上做后训练，不要求从零预训练
不足之处
- 早期项目，文档和示例相对简略，上手需要一定 RL 与扩散模型背景
- 依赖特定基座模型与算力，普通开发者复现成本较高
适用场景
- 研究扩散语言模型的强化学习后训练方法
- 在数学、代码等推理任务上评测 dLLM 能力
- 基于已有扩散 LLM 做推理增强的二次开发
替代项目
LLaDA、Dream、open-r1
上一篇：Rethinking-OPD
下一篇：Trinity-RFT
同类项目推荐
multimodal
开源
用 PyTorch 快速搭多模态模型训练管线
TorchMultimodal is a PyTorch library for training state-of-the-art multimodal multi-···
neptune-client
开源
一键记录训练实验，自动追踪指标与模型，团队协作更高效
The experiment tracker for foundation model training
lightly-train
开源
一个命令搞定视觉模型预训练、微调和蒸馏，告别碎片化流程。
All-in-one training for vision models (YOLO, ViTs, RT-DETR, DINOv3): pretraining, fi···
ReCall
开源
让大模型学会自己上网查资料，回答更准更及时
ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning & ReCal···
selfcodealign
开源
让代码模型自己教自己，无需人工标注，自动提升生成质量。
[NeurIPS'24] SelfCodeAlign: Self-Alignment for Code Generation
Time-R1
开源
让大模型像专家一样一步步推理预测时间序列
Time-R1 is a two-stage reinforcement fine-tuning framework that trains large languag···
qapyq
开源
一键策展海量图像视频，自动标注裁剪遮罩，加速 LoRA 训练
AI-assisted media curator for large image/video datasets. Streamlined captioning, cr···
Primus
开源
在 AMD GPU 上高效训练大模型，开箱即用
A flexible and high-performance training framework designed for large-scale foundati···
modalities
开源
PyTorch 原生分布式训练，配置化复现大模型实验
Modalities, a PyTorch-native framework for distributed and reproducible foundation m···