qerl

单卡 H100 跑通 32B 大模型强化学习训练

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 53 🐛 待处理 3 👀 关注 3
GitHub ↗
GitHub 星标 ★ 527
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,免费使用

项目预览

qerl 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队NVlabs
定价模式🏷️完全免费
价格说明开源项目,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型llms,quantization,reasoning,reinforcement-learning
GitHub 星标★ 527
上线时间2025-09-22 00:00:00
代码更新2026-11-16
仓库体积43.3 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

qerl 是一个面向大语言模型强化学习训练的开源框架,核心目标是在单张 H100 GPU 上完成 32B 参数模型的强化学习微调,降低大规模 RL 训练对多卡集群的依赖。项目结合量化技术与强化学习流程,通过低比特表示压缩模型权重与激活占用,使 32B 级别模型在单卡显存预算内完成采样与更新。它解决的是大模型 RL 训练显存开销高、部署门槛高的问题,让研究者和中小团队无需多卡环境即可复现推理增强训练实验。核心能力包括量化感知的 RL 训练管线、面向推理任务的奖励优化流程,以及与主流 LLM 训练栈的衔接。项目以 Python 实现,标签覆盖 llms、quantization、reasoning、reinforcement-learning,论文被 ICLR 2026 接收,属于早期但方向明确的研究型工程。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 527

核心亮点

  • 在单张 H100 上支持 32B 模型 RL 训练,显著降低多卡集群依赖
  • 将量化与强化学习流程结合,针对显存瓶颈做系统性优化
  • 有 ICLR 2026 论文支撑,方法设计有明确的研究依据

不足之处

  • 项目处于早期阶段,星标约 527,生态与社区反馈有限
  • 仅验证单卡 H100 场景,其他硬件与多卡扩展性待观察
  • 文档与使用示例可能不够完善,上手需要一定调参经验

适用场景

  • 学术团队在单卡环境下复现大模型 RL 训练实验
  • 中小团队低成本验证推理增强模型的训练效果
  • 研究量化技术对强化学习训练稳定性与效果的影响

替代项目

verl、OpenRLHF、TRL

上一篇:veScale

下一篇:没有了!

同类项目推荐

Graph-CoT 开源

让大模型在知识图谱上一步步推理,提升复杂问答准确率

Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs (ACL···

★ 311 2026-08-09
Spectral-DeTuning 开源

一键还原生成模型微调前的原始权重,逆向去微调

Official PyTorch Implementation for the "Recovering the Pre-Fine-Tuning Weights of G···

★ 86 2026-08-09
LightRFT 开源

用奖励模型驱动微调,让 LLM/VLM 按目标越训越强

LightRFT: Light, Efficient, Omni-modal & Reward-model Driven Reinforcement Fine-Tuni···

★ 381 2026-09-16
OneTrainer 开源

图形化界面搞定扩散模型训练,从 LoRA 到全量微调一站式完成。

OneTrainer is a one-stop solution for all your Diffusion training needs.

★ 3265 2026-08-10
Aurora 开源

统一多模态时间序列预测,一个模型搞定数值文本图像

[ICLR 2026] Aurora: Towards Universal Generative Multimodal Time Series Forecasting

★ 80 2026-08-09
dParallel 开源

让扩散语言模型并行解码,推理速度翻倍

[ICLR 2026] dParallel: Learnable Parallel Decoding for dLLMs

★ 68 2026-08-09
litgpt 开源

一条命令搞定大模型预训练、微调和部署,省时省力

20+ high-performance LLMs with recipes to pretrain, finetune and deploy at scale.

★ 13757 2026-08-09
EvoTune 开源

让 LLM 自动进化出算法,省去手工设计

Efficiently discovering algorithms via LLMs with evolutionary search and reinforceme···

★ 146 2026-08-09
Kardia-R1 开源

让AI学会共情,用强化学习提升情感支持回复质量

[WWW] Kardia-R1: Unleashing LLMs to Reason toward Understanding and Empathy for Emot···

★ 60 2026-08-09