项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 711
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- 多卡 GPU
- Python 3.10+
- 任务数据
安装与启动步骤
-
1克隆
先拉代码。
# 从仓库首页克隆 -
2装依赖
按清单装训练依赖。
pip install -r requirements.txt -
3配数据
把任务与奖励配置好。
# 编辑 configs 目录 -
4起训练
用示例配置先跑通。
# 运行仓库训练入口
如何确认成功
训练能进入迭代并记录奖励变化。
注意事项
- 它是强化微调框架，不是普通 SFT。
- 奖励函数设计比模型规模更影响效果。
核心亮点
- 模块化解耦采样、奖励与策略更新，切换算法改动小
- 面向LLM场景做并行与分布式优化，便于扩展训练规模
- 覆盖RLHF/RFT常见范式，实验迭代路径清晰
不足之处
- 早期项目，生态与文档成熟度待观察
- 实际大规模训练案例和社区反馈还较少
适用场景
- 研究团队快速搭建LLM强化微调实验流水线
- 需要对比多种RL算法效果的模型对齐实验
- 智能体场景下的多轮交互式强化训练
替代项目
OpenRLHF、verl、TRL
上一篇：d1
下一篇：ArcticTraining
同类项目推荐
SparseLLM
开源
全局剪枝大模型，高稀疏度下保住性能
Official Repo for SparseLLM: Global Pruning of LLMs (NeurIPS 2024)
LLM-RLHF-Tuning-with-PPO-and-DPO
开源
一站式跑通大模型 RLHF：SFT 到 PPO/DPO 全流程
Comprehensive toolkit for Reinforcement Learning from Human Feedback (RLHF) training···
OpenThoughts-Agent
开源
一套配方搞定 Agent 训练数据与流程
Data recipes and robust infrastructure for training AI agents
VisionFoundry
开源
用合成图像训练VLM，低成本提升视觉感知能力
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
llm-engine
开源
自建大模型推理与微调平台，OpenAI 接口一键迁移
Scale LLM Engine public repository
deita
开源
用更少的高质量数据，训出更强的对齐模型
Deita: Data-Efficient Instruction Tuning for Alignment [ICLR2024]
sd-leap-booster
开源
让 Stable Diffusion 微调更快，从局部最优起步，省时省力。
Fast finetuning using a booster model that puts the initial state to a local minimum
AdaptiveDiffusion
开源
不重训直接加速扩散模型，生成更快更省算力
[NeurIPS'24] Training-Free Adaptive Diffusion with Bounded Difference Approximation ···
training_hub
开源
一站式调用主流LLM训练算法，快速验证训练策略
An algorithm-focused interface for common llm training, continual learning, and rein···