Trinity-RFT

搭好LLM强化微调流水线，换算法扩规模不用重写

Trinity-RFT 是一个面向大语言模型强化微调（RFT）的通用框架，目标是把 RLHF/RFT 从单机脚本式实验升级为可扩展、可复用的工程系统。它解决的核心问题是：现有强化学习训练流程往往与具体算法、模型和任务强耦合，切换算法或扩展规模时改动成本高。Trinity-RFT 通过模块化设计把数据采样、经验生成、奖励计算、策略更新等环节解耦，支持多种强化学习算法与训练范式，并针对 LLM 场景优化了并行与分布式执行，让研究者能更快搭建和迭代自己的 RFT 流水线。它适合需要做偏好对齐、推理能力增强或智能体训练的实验团队，在保持灵活性的同时降低工程重复建设成本。

开源 free 模型训练

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 701

维护状态较活跃

是否开源是

定价模式 free

项目数据

分类模型训练

开发团队agentscope-ai

所属国家

官网地址https://agentscope-ai.github.io/Trinity-RFT

GitHubhttps://github.com/agentscope-ai/Trinity-RFT

定价模式free

价格说明开源免费框架，定价信息待确认

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,llm,rlhf

GitHub 星标★ 701

30天Star增速

HF 下载量

上线时间2025-04-09 00:00:00

最近更新2026-09-13 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-15

浏览次数0

使用教程

核心亮点

模块化解耦采样、奖励与策略更新，切换算法改动小
面向LLM场景做并行与分布式优化，便于扩展训练规模
覆盖RLHF/RFT常见范式，实验迭代路径清晰

不足之处

早期项目，生态与文档成熟度待观察
实际大规模训练案例和社区反馈还较少

适用场景

研究团队快速搭建LLM强化微调实验流水线
需要对比多种RL算法效果的模型对齐实验
智能体场景下的多轮交互式强化训练

替代项目

OpenRLHF、verl、TRL

项目介绍

Trinity-RFT 是一个模型训练领域的开源项目，官方简介：Trinity-RFT is a general-purpose, flexible and scalable framework designed for reinforcement fine-tuning (RFT) of large language models (LLM).。项目使用 Python 开发，在 GitHub 上获得 701 星标。

上一篇：d1

下一篇：ArcticTraining