LightRFT 是模型训练领域的开源项目，由 opendilab 开发，2025 年首次发布。
它收录于模型训练分类，该分类目前共有 516 个项目，GitHub 星标数为 404。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-18。免费使用。
它主要面向的使用场景是：用奖励模型对LLM做偏好对齐与能力强化。同类可对比的替代方案包括 OpenRLHF、TRL、verl。
LightRFT
用奖励模型驱动微调，让 LLM/VLM 按目标越训越强
LightRFT 是一个轻量、高效、支持全模态的强化微调（RFT）框架，核心思路是用奖励模型驱动训练，把强化学习引入大语言模型和多模态模型的微调流程。它解决了传统 SFT 只能模仿、难以优化主观目标的问题，让模型能按人类偏好或任务奖励持续改进。框架内置 DAPO、GRPO 等主流 RL 算法，覆盖 LLM 与 VLM 训练，支持文本、图像等多模态输入，并提供奖励模型集成能力。相比重量级 RLHF 工具链，LightRFT 强调轻量与效率，适合在有限算力下快速实验强化微调，也方便研究者对比不同算法和奖励设计对模型行为的影响。
开源
free
模型训练
GitHub 星标
★ 404
维护状态
较活跃
是否开源
是
定价模式
free
项目数据
分类模型训练
开发团队opendilab
所属国家
定价模式free
价格说明开源框架，免费使用
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型dapo,grpo,llm,llm-training,multi-modal,reinforcement-learning,reward-model,rft,vlm
GitHub 星标★ 404
30天Star增速
HF 下载量
上线时间2025-12-23 00:00:00
最近更新2026-09-18 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-09-16
浏览次数0
使用教程
核心亮点
- 同时覆盖 LLM 与 VLM 的全模态强化微调，多模态场景可直接复用
- 内置 DAPO、GRPO 等较新 RL 算法，省去自行实现和调参成本
- 以奖励模型驱动，支持按偏好或任务指标优化，而非只做模仿学习
不足之处
- 项目处于早期，文档与示例丰富度有限
- 社区规模和生态集成尚待成长
适用场景
- 用奖励模型对 LLM 做偏好对齐与能力强化
- 对视觉语言模型进行多模态强化微调
- 在有限算力下对比 DAPO、GRPO 等 RL 算法效果
替代项目
OpenRLHF、TRL、verl
项目介绍
上一篇：burn-onnx
下一篇：regress-lm
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···