d1

用强化学习给扩散大模型补上推理能力

d1 是论文《d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning》的官方实现，目标是用强化学习提升扩散式大语言模型（dLLM）的推理能力。扩散语言模型并行去噪、生成速度快，但此前在数学、代码等需要多步推理的任务上明显弱于自回归模型。d1 把强化学习（如 GRPO 类策略优化）引入扩散 LLM 的后训练阶段，通过奖励信号优化去噪生成轨迹，让模型学会更长的思维链式推理，并在推理基准上取得可扩展的提升。项目提供训练与评测脚本、配置和预训练模型接口，基于 Python 与主流深度学习框架实现，适合研究扩散语言模型后训练、强化学习与推理增强方向的研究者复现和二次开发。