SkyRL

把 LLM 强化学习全流程拆成乐高，多轮工具任务也能直接训

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 475 🐛 待处理 576 👀 关注 14

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2490

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，文档站提供使用说明

项目预览

项目数据

分类模型训练

开发团队NovaSky-AI

官网地址https://docs.skyrl.ai/docs

GitHubhttps://github.com/NovaSky-AI/SkyRL

定价模式🏷️完全免费

价格说明开源免费，文档站提供使用说明

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

GitHub 星标★ 2490

上线时间2025-04-22 00:00:00

代码更新2026-11-02

仓库体积53.0 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

SkyRL 是一个面向大语言模型的模块化全栈强化学习库，目标是把 RL 训练 LLM 所需的各个环节——环境交互、轨迹生成、奖励计算、策略优化与分布式训练——整合成可组合的组件，而不是让研究者自己拼凑一堆脚本。它解决的核心问题是：现有 RLHF/RLVR 工具往往只覆盖训练器或只覆盖环境，难以同时支持多轮交互、工具调用、长序列生成和自定义奖励等复杂场景。SkyRL 提供可插拔的环境接口、生成后端与训练后端，支持从单机到多机的扩展，并针对长上下文与多轮对话做了显存和吞吐优化。用户可以用它复现 PPO、GRPO 等算法，也能快速接入自己的任务环境与奖励函数，适合做 agentic RL、推理增强和偏好对齐等方向的研究与工程落地。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 2490

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 20 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Git（用于克隆仓库）
Python 环境（README 未给出具体版本要求）
可访问官方文档 https://docs.skyrl.ai/docs/
训练所需硬件资源（README 未给出具体配置要求）

安装与启动步骤

1克隆 SkyRL 仓库

从 GitHub 拉取源码仓库，本地得到包含 skyrl、skyrl-gym 等子目录的完整代码。
```
git clone https://github.com/NovaSky-AI/SkyRL.git
```
2进入仓库目录

切换到仓库根目录，查看 skyrl、skyrl-train、skyrl-tx、skyrl-agent、skyrl-gym 等组件。
```
cd SkyRL
ls
```
3选择使用入口

README 指明：训练选 skyrl；建环境选 skyrl-gym；agent 流水线选 skyrl-agent。
4阅读官方安装文档

README 未给出安装命令，需按 Development Guide 与 quickstart 文档完成环境搭建。
5复现 SkyRL-v0

如需精确复现 SkyRL-v0 结果，先切换到 README 指定的 commit，再按 skyrl-agent 说明操作。
```
git checkout a0d50c482436af7fac8caffa4533616a78431d66
```
6确认支持的模型

按 Supported Models 文档核对你的模型是否在支持列表内，再开始训练任务。