LLM-RLHF-Tuning-with-PPO-and-DPO
一站式跑通大模型 RLHF：SFT 到 PPO/DPO 全流程
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 195
核心亮点
- 同时覆盖 SFT、奖励模型、PPO、DPO 四个阶段，链路完整
- 提供多种配置，便于对比 PPO 与 DPO 的训练差异
- 基于 Python 实现，代码结构清晰，适合二次修改和教学参考
不足之处
- 项目星标仅 193，属于早期项目，社区验证和长期维护待观察
- 文档与示例可能不够完善，新模型适配的稳定性需要自行验证
适用场景
- 学习 RLHF 全流程并动手复现 PPO/DPO 实验
- 在自有数据上做指令微调后接偏好对齐训练
- 对比 PPO 与 DPO 在同一模型和数据集上的效果差异
替代项目
trl、DeepSpeed-Chat、LLaMA-Factory
同类项目推荐
LMFlow
开源
一键微调大模型，人人可用的高效工具包
An Extensible Toolkit for Finetuning and Inference of Large Foundation Models. Large···
verl-omni
开源
给扩散和全模态模型做 RL 后训练，一套框架跑通
Multimodal RL training framework for diffusion & omni models
hyper-parallel
开源
让大模型训练任务贴着超节点跑，减少跨域通信损耗
A SuperPod-Affinity Training Acceleration Framework.
mergekit
开源
拖拽式合并大模型，轻松融合多个模型能力
Tools for merging pretrained large language models.
align_sd
开源
让AI画图更懂你的审美，用人类偏好微调扩散模型。
Better Aligning Text-to-Image Models with Human Preference. ICCV 2023
AngelSlim
开源
一键压缩大模型，部署更快更省资源
Model compression toolkit engineered for enhanced usability, comprehensiveness, and ···
lora-the-explorer
开源
可视化编辑 FLUX LoRA，让模型控制更直观高效
Advanced FLUX LoRA manipulation toolkit with GUI interface
KG-FIT
开源
用大模型给知识图谱做微调，让关系预测更准
[NeurIPS'24] Knowledge Graph Fine-Tuning using LLMs
diffusion-pipe
开源
多卡流水线并行，低显存也能训大扩散模型
A pipeline parallel training script for diffusion models.