dLLM-RL

给扩散大模型装上强化学习引擎，训练出 SOTA 的 TraDo 系列

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 45 🐛 待处理 25 👀 关注 3
GitHub ↗
GitHub 星标 ★ 523
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0许可证，可免费使用和部署。

项目预览

dLLM-RL 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队Gen-Verse
GitHubhttps://github.com/Gen-Verse/dLLM-RL
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型code-generation,diffusion-language-models,large-language-models,llm-reasoning,mathmatical-reasoning,reinforcement-learning-algorithms,rlhf
GitHub 星标★ 523
上线时间2025-08-26 00:00:00
代码更新2026-01-28
仓库体积8.2 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

dLLM-RL 是 ICLR 2026 论文 TraceRL 的官方代码库，专注于扩散大语言模型（Diffusion LLMs）的后训练强化学习。扩散模型在生成任务中展现出潜力，但传统自回归模型的后训练方法（如 RLHF）无法直接适用。该项目提出 TraceRL 方法，通过轨迹级别的奖励建模和策略优化，解决扩散模型生成过程中的稀疏奖励和长程信用分配问题，并在此基础上推出了 TraDo 系列模型，在多项文本生成基准上达到 SOTA 水平。核心能力包括：支持扩散模型的强化学习训练流程、轨迹级奖励设计、以及高效的采样与优化策略。项目代码基于 Python，提供训练和推理脚本，便于研究者复现和扩展。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 523

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：高级 约 80 分钟 部署方式：本地GPU 5 步

环境要求

  • CUDA 显卡
  • Python 3.10
  • 较大显存

安装与启动步骤

  1. 1建环境

    它锁 Python 3.10 与较新的框架版本。

    conda create --name dllm-rl python=3.10

  2. 2装依赖

    按 requirements 装，含强化学习相关组件。

    pip install -r requirements.txt

  3. 3下评测数据

    数学推理是它的主评测集。

    python download_data.py --dataset MATH500

  4. 4先跑评测

    不训练先跑一遍基线，看分数落在哪。

    python eval.py config=configs/trado_eval.yaml

  5. 5再跑强化学习训练

    训练前先确认基线可信。

    python rl.py config=configs/rl_trado.yaml

如何确认成功

先跑出评测基线分数，再训练若干步后同一评测集分数有可测量提升

注意事项

  • 它把扩散式语言模型与强化学习结合，走的是非自回归生成路线。
  • 配置文件驱动，换任务基本只改配置。
  • 训练成本高，先跑基线再决定要不要投入。
  • 多机脚本已给，单机也能跑但慢。

核心亮点

  • 首个系统解决扩散 LLM 后训练强化学习问题的开源方案，方法创新性强
  • 代码结构清晰，包含完整训练和推理流程，便于复现论文结果
  • 基于 ICLR 论文，技术路线有理论支撑，非简单调参

不足之处

  • 早期项目，文档和社区支持尚不完善，上手门槛较高
  • 依赖特定扩散模型架构，迁移到其他模型需额外适配

适用场景

  • 研究扩散语言模型的后训练算法，如 RLHF 变体
  • 需要生成质量高且可控的文本生成任务，如长文写作、对话
  • 探索非自回归生成模型在 NLP 中的应用

替代项目

TRL (Hugging Face)、OpenRLHF、verl

上一篇：DART

下一篇：RLP

同类项目推荐

HALC 开源

减少多模态模型幻觉，让AI描述更可信

[ICML 2024] Official implementation for "HALC: Object Hallucination Reduction via Ad···

★ 117 2026-08-09
modalities 开源

PyTorch 原生分布式训练，配置化复现大模型实验

Modalities, a PyTorch-native framework for distributed and reproducible foundation m···

★ 112 2026-09-19
SteptronOss 开源

一套配置跑通大模型微调、强化与评测

A lightweight, AI-native training framework for large language models. Designed for ···

★ 589 2026-09-15
FineTuningLLMs 开源

跟着书一步步微调大模型，从零跑通全流程

Official repository of my book "A Hands-On Guide to Fine-Tuning LLMs with PyTorch an···

★ 878 2026-08-09
SepLLM 开源

压缩冗余片段，让大模型推理快 2.5 倍

[ICML 2025] "SepLLM: Accelerate Large Language Models by Compressing One Segment int···

★ 573 2026-08-09
kokoro-ruslan 开源

用 Ruslan 语料库训练俄语 Kokoro 语音模型

Kokoro Language Model Training Script for Russian (Ruslan Corpus)

★ 71 2026-08-09
hud-python 开源

一次定义环境，训练任意智能体，快速评估效果。

RL environments + evals for AI agents. Define once, train anything.

★ 323 2026-08-10
cevahir-ai 开源

一站式搭建语言模型，从分词到聊天全流程

Full-stack open-source AI engine for building language models — tokenizer training,···

★ 283 2026-08-09