让AI智能体在实际任务中边干边学，用GRPO强化训练，快速提升多步决策能力。
ART（Agent Reinforcement Trainer）是一个面向真实世界多步骤任务的开源强化学习训练框架，专注于使用GRPO算法对智能体进行在线训练。它解决了传统强化学习在复杂、动态、真实场景中难以应用的问题，让开发者能够直接对Qwen3.6、GPT-OSS、Llama等主流大模型进行强化学习微调，支持LoRA等高效参数更新方式。ART的核心能力包括：提供简洁的API接口，支持自定义奖励函数与任务环境；内置GRPO实现，优化多步骤决策的样本效率与稳定性；与Hugging Face生态无缝集成，支持分布式训练与模型部署。通过ART，开发者可以像训练人类员工一样，让AI智能体在实际任务中不断试错、学习并优化策略，从而显著提升其在客服、编程、自动化操作等场景下的表现。该项目在GitHub上已获得超过1万星标，是当前大模型强化学习领域的热门工具。
1确认 Python 环境
README 说明可在任意运行 Python 的客户端机器上训练智能体，先确认本机 Python 可用。
python --version2安装 ART 包
README 给出的安装方式：在已有项目中执行 pip 安装 openpipe-art。
pip install openpipe-art3验证安装结果
查看包信息，确认 openpipe-art 已成功安装到当前 Python 环境。
pip show openpipe-art| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
api_key | 是 | 使用 W&B Serverless RL 后端时的鉴权 key | your_wandb_api_key |
base_model | 否 | 待强化学习微调的基座模型名 | Qwen/Qwen3.6-27B |
project | 否 | TrainableModel 所属项目名 | voice-agent |
name | 否 | TrainableModel 的模型名 | agent-001 |
run_name | 否 | 本次训练运行的名称 | agent-001 |
执行 pip show openpipe-art 能显示包名与版本信息，即安装成功；无需本地 GPU 也可使用。
Q：必须本地有 GPU 吗？
A：README 指出 ART 可从任何运行 Python 的客户端机器训练；使用 W&B Training（Serverless RL）时训练与推理基础设施由服务方托管，可避免本地 CUDA 显存不足问题。
Q：安装需要哪些前置条件？
A：只需客户端机器能运行 Python 并可用 pip；如需 Serverless RL，还需准备 W&B API key 并传入 ServerlessBackend。
Q：支持哪些基座模型？
A：README 示例使用 Qwen/Qwen3.6-27B，项目简介还提到 Qwen3.6、GPT-OSS、Llama 等主流大模型。
Q：如何接入 Serverless RL？
A：按 README 示例使用 art.serverless.backend.ServerlessBackend，传入 api_key，并通过 model.register(backend) 注册 TrainableModel。
TRL (Transformer Reinforcement Learning)、OpenRL、verl
ART 是模型训练领域的开源项目，由 OpenPipe 开发，2025 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（10,766）位列前 5%，在模型训练分类的 518 个项目里位列前 5%。
近 44 天，它的 GitHub 星标从 10,576 增加到 10,766，净增 190。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。
它主要面向的使用场景是：训练客服智能体在真实对话中优化回复策略。同类可对比的替代方案包括 TRL (Transformer Reinforcement Learning)、OpenRL、verl。
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···