项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 730
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- 多卡集群
- 视频数据集
- Slurm（多机时）
安装与启动步骤
-
1克隆
先拉代码。
git clone https://github.com/NVlabs/Long-RL.git -
2安装
可编辑模式装。
pip install -e . -
3替换推理后端
脚本会替换成它需要的版本。
bash vllm_replace.sh -
4跑单机示例
先用小模型跑通。
bash examples/new_supports/qwen2_5_vl_3b_video_grpo.sh $VIDEO_PATH -
5多机训练
要扩规模就上调度脚本。
bash scripts/srun_multi_nodes.sh examples/new_supports/qwen2_5_vl_3b_video_grpo.sh 2
如何确认成功
单机示例能起训练并打印奖励曲线。
注意事项
- 它做长视频推理的强化学习训练。
- 后端替换脚本必须跑，否则版本不匹配。
核心亮点
- 针对长序列 RL 的显存优化技术，显著降低训练门槛
- 提供 NeurIPS 论文级算法实现，实验配置完整可复现
- 支持多种长任务场景（代码、数学），扩展性强
不足之处
- 早期项目，文档和社区支持待观察
- 依赖特定框架版本，环境配置可能较复杂
适用场景
- 长代码生成任务的 RL 微调
- 长数学推理链的强化学习优化
- 长文档摘要或问答的 RL 训练
替代项目
verl、OpenRLHF、TRL
上一篇：VeriThinker
下一篇：ORLM
同类项目推荐
qwen-3-1.7b-finetune-proj
开源
微调小模型，专门写不含字母e的英文
project on fine-tuning qwen to generate text w/o letter 'e'
vector-quantize-pytorch
开源
一行替换量化层，轻松训练离散潜变量模型
Vector (and Scalar) Quantization, in Pytorch
MLOps
开源
跟着项目清单，动手练熟MLOps全流程
The repository contains a list of projects which I will work on while learning and i···
ms-swift
开源
一条命令微调千种大模型，从训练到部署全搞定
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···
TFMQ-DM
开源
给扩散模型瘦身，4-bit量化不降画质，部署提速。
[CVPR 2024 Highlight & TPAMI 2025] This is the official PyTorch implementation of "T···
TextRL
开源
在任意 HuggingFace 模型上实现 RLHF 微调，让生成更符合人类偏好。
Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···
ai-toolkit
开源
写份配置就能微调扩散模型，LoRA 训练开箱即用
The ultimate training toolkit for finetuning diffusion models
FedKTL
开源
用服务端预训练生成器，让异构联邦学习上传更少、效果更好。
CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···
modalities
开源
PyTorch 原生分布式训练，配置化复现大模型实验
Modalities, a PyTorch-native framework for distributed and reproducible foundation m···