ReaLHF

重新分配参数，让 RLHF 训练更快更省资源

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 22 🐛 待处理 1 👀 关注 1 ⚠️ 作者已归档（停止维护）
GitHub ↗
GitHub 星标 ★ 336
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可自由使用，无付费版本。

项目预览

ReaLHF 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队openpsi-project
GitHubhttps://github.com/openpsi-project/ReaLHF
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可自由使用，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型deepspeed,distributed-computing,distributed-systems,large-language-models,large-scale-machine-learning,llm,llm-framework,llm-training,megatron-lm,reinforcement-learning,reinforcement-learning-from-human-feedback,transformers
GitHub 星标★ 336
上线时间2024-06-18 00:00:00
代码更新2025-04-24
仓库体积9.0 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

ReaLHF 是一个面向大语言模型的高效 RLHF（基于人类反馈的强化学习）训练框架，通过参数重新分配技术显著提升训练效率。它解决了传统 RLHF 训练中计算资源利用率低、训练速度慢的问题，核心能力包括动态参数重分配、多节点并行优化以及内存高效管理。该框架基于 Python 实现，支持分布式训练，能够在不牺牲模型性能的前提下，降低训练成本并加速迭代。对于研究机构和企业而言，ReaLHF 提供了一种更经济、更快速的 RLHF 落地途径，尤其适合资源受限但需要高质量对齐模型的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 336

核心亮点

  • 参数重分配技术显著提升训练吞吐量，相比传统方法有数倍加速
  • 支持多节点分布式训练，扩展性好，适合大规模模型
  • 内存优化设计，降低显存占用，支持更大批量和更长序列

不足之处

  • 项目处于早期阶段，文档和社区支持尚不完善
  • 依赖特定硬件和分布式环境，部署门槛较高

适用场景

  • 大模型 RLHF 对齐训练，降低算力成本
  • 多节点集群下的高效分布式训练
  • 研究机构或企业快速迭代模型对齐策略

替代项目

DeepSpeed Chat、TRL (Transformer Reinforcement Learning)、OpenRLHF

上一篇：GEM

下一篇：MLM_Filter

同类项目推荐

AlignProp 开源

直接反向传播奖励，让扩散模型更听话，效率提升25倍

AlignProp uses direct reward backpropogation for the alignment of large-scale text-t···

★ 330 2026-08-09
Torch-Pruning 开源

一键剪枝任意 PyTorch 模型，自动处理复杂依赖，压缩提速不降准。

[CVPR 2023] DepGraph: Towards Any Structural Pruning; LLMs, Vision Foundation Models···

★ 3369 2026-08-09
Prism 开源

动态稀疏注意力，让2K音视频生成模型原生训练更省算力

We propose Prism, a dynamic sparse attention framework for natively training joint v···

★ 1513 2026-10-26
sd-leap-booster 开源

让 Stable Diffusion 微调更快，从局部最优起步，省时省力。

Fast finetuning using a booster model that puts the initial state to a local minimum

★ 112 2026-08-09
AutoGPTQ 开源

一键量化大模型，显存减半推理加速

An easy-to-use LLMs quantization package with user-friendly apis, based on GPTQ algo···

★ 5068 2026-08-09
VeOmni 开源

声明式配方，把任意模态大模型训练一键扩展到多机多卡

VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zo···

★ 2286 2026-09-19
JAFAR 开源

任意分辨率下提升特征，无需重训模型

[NeurIPS 2025] Official code for JAFAR: Jack up Any Feature at Any Resolution

★ 241 2026-08-09
awesome-llms-fine-tuning 开源

一站式收藏LLM微调资源，从入门到进阶少走弯路

Explore a comprehensive collection of resources, tutorials, papers, tools, and best ···

★ 532 2026-08-09