NexRL

像搭积木一样拼 LLM 后训练流程,换组件不用重写代码

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 9 🐛 待处理 18
GitHub ↗
GitHub 星标 ★ 119
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务,需自行部署

项目预览

NexRL 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队nex-agi
定价模式🏷️完全免费
价格说明开源免费,无在线服务,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 119
上线时间2025-11-12 00:00:00
代码更新2026-09-17
仓库体积1.8 MB
本站数据更新2026-10-18
维护状态维护中
收录时间2026-10-07
浏览次数3

项目介绍

NexRL 是一个面向大语言模型后训练(post-training)的超松耦合框架,目标是把 SFT、RLHF、DPO 等后训练流程拆解成可独立替换的模块,让训练、推理、数据、奖励等组件之间尽量少互相依赖。它解决的是传统后训练框架耦合度高、换一个模型或算法就要大改代码的问题:用户可以在不改动整体流程的前提下替换推理后端、奖励模型或训练策略,也便于把不同团队维护的组件拼装成完整流水线。核心能力包括模块化编排、灵活接入不同训练与推理引擎、支持多种后训练范式,以及面向分布式环境的扩展能力。项目用 Python 实现,目前处于早期阶段,适合想快速试验后训练方案、又不想被单一框架绑死的研究者和工程团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 119

核心亮点

  • 模块间松耦合,替换推理后端或奖励模型时改动范围小
  • 支持 SFT、RLHF、DPO 等多种后训练范式,实验切换成本低
  • 纯 Python 实现,便于阅读源码和二次开发

不足之处

  • 项目处于早期,星标仅 119,生态和周边工具尚不完善
  • 文档与社区规模待观察,遇到问题可参考的案例较少

适用场景

  • 研究人员快速对比不同 RLHF/DPO 算法效果
  • 工程团队把自研奖励模型接入现有后训练流水线
  • 需要灵活替换训练与推理引擎的多机实验环境

替代项目

OpenRLHF、verl、TRL

上一篇:Model-Optimizer

下一篇:DrMAS

同类项目推荐

DataFlex 开源

训练时动态挑数据,让模型学得更快更好

[NeurIPS 2026] DataFlex: A Unified Benchmark and Evaluation Platform for Data-Centri···

★ 3668 2026-08-10
AgentGym 开源

让大模型智能体在多样环境中自我进化,一键复现论文实验

Code and implementations for the ACL 2025 paper "AgentGym: Evolving Large Language M···

★ 861 2026-08-09
GuidedQuant 开源

用端到端损失引导量化,让大模型压缩后不掉点

Official PyTorch implementation of "GuidedQuant: Large Language Model Quantization v···

★ 58 2026-08-09
BloomBee 开源

多台普通设备拼起来,也能微调和跑大模型

Decentralized LLMs fine-tuning and inference with offloading

★ 137 2026-09-16
spirit-lora-trainer 开源

拖拽配置,一键训练 Flux1 LoRA,告别命令行烦恼

Spirit Lora Trainer is a robust toolkit for training Flux1-LoRA models with a focus ···

★ 88 2026-08-09
LeapAlign_Code 开源

任意步数生成高质量图像,让流匹配模型又快又好。

[CVPR2026] LeapAlign: Post-Training Flow Matching Models at Any Generation Step by B···

★ 61 2026-08-09
llm-engine 开源

自建大模型推理与微调平台,OpenAI 接口一键迁移

Scale LLM Engine public repository

★ 841 2026-09-16
sagemaker-training-toolkit 开源

把训练脚本塞进容器,SageMaker 自动跑训练并上传模型

Train machine learning models within a Docker container using Amazon SageMaker.

★ 531 2026-10-12
DAEDAL 开源

免训练,让扩散语言模型按需生成任意长度文本

[ICLR 2026] Official repository of "Beyond Fixed: Training-Free Variable-Length Deno···

★ 176 2026-08-09