NexRL

像搭积木一样拼 LLM 后训练流程，换组件不用重写代码

NexRL 是一个面向大语言模型后训练（post-training）的超松耦合框架，目标是把 SFT、RLHF、DPO 等后训练流程拆解成可独立替换的模块，让训练、推理、数据、奖励等组件之间尽量少互相依赖。它解决的是传统后训练框架耦合度高、换一个模型或算法就要大改代码的问题：用户可以在不改动整体流程的前提下替换推理后端、奖励模型或训练策略，也便于把不同团队维护的组件拼装成完整流水线。核心能力包括模块化编排、灵活接入不同训练与推理引擎、支持多种后训练范式，以及面向分布式环境的扩展能力。项目用 Python 实现，目前处于早期阶段，适合想快速试验后训练方案、又不想被单一框架绑死的研究者和工程团队。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 119

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类模型训练

开发团队nex-agi

所属国家

官网地址

GitHubhttps://github.com/nex-agi/NexRL

定价模式free

价格说明开源免费，无在线服务，需自行部署

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型

GitHub 星标★ 119

30天Star增速

HF 下载量

上线时间2025-11-12 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-07

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

模块间松耦合，替换推理后端或奖励模型时改动范围小
支持 SFT、RLHF、DPO 等多种后训练范式，实验切换成本低
纯 Python 实现，便于阅读源码和二次开发

不足之处

项目处于早期，星标仅 119，生态和周边工具尚不完善
文档与社区规模待观察，遇到问题可参考的案例较少

适用场景

研究人员快速对比不同 RLHF/DPO 算法效果
工程团队把自研奖励模型接入现有后训练流水线
需要灵活替换训练与推理引擎的多机实验环境

替代项目

OpenRLHF、verl、TRL

项目介绍

NexRL 是模型训练领域的开源项目，由 nex-agi 开发，2025 年首次发布。

它收录于模型训练分类，该分类目前共有 543 个项目，GitHub 星标数为 119。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-17。开源免费，无在线服务，需自行部署。

它主要面向的使用场景是：研究人员快速对比不同RLHF/DPO算法效果。同类可对比的替代方案包括 OpenRLHF、verl、TRL。

上一篇：Model-Optimizer

下一篇：DrMAS