TextRL

在任意 HuggingFace 模型上实现 RLHF 微调，让生成更符合人类偏好。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 61 🐛 待处理 4 👀 关注 9
GitHub ↗
GitHub 星标 ★ 563
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，需自行部署使用。

项目预览

TextRL 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队voidful
GitHubhttps://github.com/voidful/TextRL
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，需自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型chatgpt,controlled-nlg,gpt-2,gpt-3,language-model,nlg,nlp,pytorch,reinforcement-learning,rlhf
GitHub 星标★ 563
上线时间2021-03-18 00:00:00
代码更新2026-04-23
仓库体积440 KB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

TextRL 是一个基于 Hugging Face Transformers 框架实现 ChatGPT RLHF（基于人类反馈的强化学习）的开源项目，旨在将强化学习技术应用于任意文本生成模型（如 BLOOM、GPT、BART、T5 等），以提升生成文本的质量和与人类偏好的对齐度。它解决了传统语言模型生成内容可能偏离用户意图或缺乏可控性的问题，核心能力包括：支持多种预训练模型作为策略网络，利用 PPO 算法进行微调，并允许用户自定义奖励函数（如基于人工评分或外部评估器）来引导模型行为。项目提供了简洁的 API 和训练脚本，方便研究者快速实验。尽管目前处于早期阶段，但它为在非 ChatGPT 模型上复现 RLHF 流程提供了参考实现，尤其适合探索可控文本生成和对齐研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 563

使用教程

难度：进阶 约 50 分钟 部署方式：本地GPU 5 步

环境要求

  • NVIDIA 显卡
  • Python 环境
  • 模型权重

安装与启动步骤

  1. 1装核心包

    在已有强化学习框架上做的一层薄封装。

    pip install textrl

  2. 2装量化支持

    显存紧张时加这个。

    pip install 'textrl[quant]'

  3. 3装高速采样

    要大规模采样再加这个。

    pip install 'textrl[vllm]'

  4. 4写奖励函数

    它把奖励做成可调用的函数，先写一个简单的。

  5. 5跑一轮训练

    小模型先验证奖励曲线是否上升。

如何确认成功

自定义奖励函数接入后训练能收敛，同一配置两次跑的趋势一致

注意事项

  • 它不重写底层，只做易用性封装。
  • 奖励函数设计比算法选择更影响结果。
  • 高速采样与量化同时开容易踩版本冲突。
  • 小模型验证通了再换大模型。

核心亮点

  • 支持 BLOOM、GPT、BART、T5 等多种模型，通用性强
  • 基于 PPO 算法，训练流程清晰，易于复现
  • 允许自定义奖励函数，灵活适配不同场景

不足之处

  • 文档/社区待观察
  • 训练稳定性依赖超参数，调参成本较高

适用场景

  • 可控文本生成（如情感控制、主题约束）
  • 对话系统优化，提升回复与人类偏好的一致性
  • 学术研究：探索 RLHF 在开源模型上的效果

替代项目

TRL (Transformer Reinforcement Learning)、RL4LMs、DeepSpeed Chat

上一篇：nanochat-mlx

下一篇：gorilla

同类项目推荐

onebitllms 开源

小显存也能训练1.58bit三值大模型

Lightweight toolkit package to train and fine-tune 1.58bit Language models

★ 150 2026-09-16
maji-merger 开源

在 WebUI 里拖拽调参，几秒合并出全新模型

A WebUI extension for model merging

★ 72 2026-08-09
RLAIF-V 开源

用开源反馈训练视觉模型，让AI不懂装懂时敢说“不知道”

[CVPR'25 highlight] RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustwort···

★ 462 2026-08-09
nanochat-mlx 开源

在 Mac 上训练你自己的 ChatGPT，无需云 GPU

Train your own ChatGPT on Apple Silicon — MLX port of nanochat

★ 78 2026-08-09
AMD-LLM 开源

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

Training code and resources for AMD-135M language models on AMD GPUs.

★ 195 2026-08-09
Megatron-LM 开源

NVIDIA 出品，高效训练千亿级大模型

Ongoing research training transformer models at scale

★ 18346 2026-08-09
lora-the-explorer 开源

可视化编辑 FLUX LoRA，让模型控制更直观高效

Advanced FLUX LoRA manipulation toolkit with GUI interface

★ 59 2026-08-09
LLaSA_training 开源

用LLM算力换自然语音，训练推理双扩展

LLaSA: Scaling Train-time and Inference-time Compute for LLaMA-based Speech Synthesi···

★ 658 2026-08-09
KnowledgeCircuits 开源

拆解大模型内部知识电路，精准定位事实存储与推理路径

[NeurIPS 2024] Knowledge Circuits in Pretrained Transformers

★ 174 2026-08-09