rl-baselines3-zoo

强化学习训练+自动调参,开箱即用

开源 free 模型训练
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 2894
维护状态 较活跃
是否开源 是
定价模式 free

项目预览

项目数据

分类模型训练
开发团队DLR-RM
所属国家
官网地址
定价模式free
价格说明开源免费,基于Stable Baselines3
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型deep-reinforcement-learning,gym,hyperparameter-optimization,hyperparameter-search,hyperparameter-tuning,lab,openai,optimization,pybullet,pybullet-environments,pytorch,reinforcement-learning,rl,robotics,sde,stable-baselines,tuning-hyperparameters
GitHub 星标★ 2894
30天Star增速
HF 下载量
上线时间2020-05-05 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-13
浏览次数0

项目介绍

rl-baselines3-zoo 是 Stable Baselines3 的配套训练框架,专门解决强化学习算法训练流程繁琐、超参数难调、结果难复现的问题。它把 SB3 中 PPO、A2C、DQN、SAC、TD3、DDPG、HER 等算法的训练脚本统一封装,内置 Optuna 超参数搜索,可自动调参并记录实验;同时提供 Atari、MuJoCo、PyBullet 等常用环境的预训练模型,用户下载后即可直接推理或继续微调。项目还集成了 TensorBoard 日志、视频录制、RL Zoo 风格的配置文件,让训练、评估、回放形成闭环。相比自己从零写训练循环,它显著降低了入门门槛,也让论文复现和算法对比更省事,是 SB3 生态里最常用的训练入口之一。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 10 分钟 部署方式:库/依赖 5 步

环境要求

  • Python 环境(可运行 pip)
  • 源码安装需先获取仓库代码
  • 完整安装需系统依赖 swig、cmake、ffmpeg
  • macOS 安装 pybullet 时可能需要额外编译参数

安装与启动步骤

  1. 1源码最小安装

    在项目根目录执行可编辑安装,只装核心依赖。适合只做基础训练、评估与调参的用户。

    pip install -e .
  2. 2作为包安装

    不想拉源码时,直接把 rl_zoo3 作为 Python 包安装,随后即可使用其命令行接口。

    pip install rl_zoo3
  3. 3安装系统依赖

    完整安装前先装编译与多媒体工具,swig/cmake 用于构建扩展环境,ffmpeg 用于录制视频。

    apt-get install swig cmake ffmpeg
  4. 4完整扩展安装

    带 plots、tests、extras 附加项安装,获得绘图、测试以及额外环境支持。

    pip install -e .[plots,tests,extras]
  5. 5macOS 失败重试

    macOS 上 pybullet 因 stdio.h 相关报错编译失败时,加上该 CFLAGS 重新安装即可。

    CFLAGS="-fno-define-target-os-macros" pip install -e .[plots,tests,extras]

如何确认成功

在任意目录运行 python -m rl_zoo3.train 或 rl_zoo3 train,能正常拉起训练脚本即安装成功。

常见问题

Q:源码安装和 pip 安装包有什么区别?

A:pip install -e . 是在源码目录做可编辑安装,便于改代码;pip install rl_zoo3 是直接安装发布包,适合只想调用命令行的用户。

Q:安装完后怎么启动训练?

A:可在任意文件夹执行 python -m rl_zoo3.train,也可用命令行接口 rl_zoo3 train,它等价于运行 python train.py。

Q:macOS 上 pybullet 编译报错怎么办?

A:按 README 建议,在安装命令前加 CFLAGS="-fno-define-target-os-macros" 后重试完整安装。

Q:怎么自定义超参数和训练配置?

A:README 指向文档的 Custom Configuration 章节,请查阅 https://rl-baselines3-zoo.readthedocs.io/en/master/guide/config.html。

Q:想换用别的 Stable Baselines3 安装方式怎么办?

A:可参考 Stable Baselines3 官方文档中提供的其他安装方式。

注意事项

  • 完整安装前必须先装好 swig、cmake、ffmpeg 系统依赖,否则扩展环境可能构建失败。
  • 日常使用只需最小安装即可;绘图、测试和额外环境才需要 [plots,tests,extras] 附加项。
  • 自定义配置、超参数搜索等进阶用法请查阅官方文档 rl-baselines3-zoo.readthedocs.io。
  • 项目仍在征集贡献者来补全经过调优的超参数集合。

核心亮点

  • 内置 Optuna 超参数搜索,一条命令即可自动调参并保存最优配置
  • 提供大量预训练模型,覆盖 Atari、MuJoCo、PyBullet 等常用环境,可直接加载推理
  • 统一封装 SB3 各算法训练脚本,支持 TensorBoard 日志、视频录制和断点续训

不足之处

  • 依赖 Stable Baselines3 和 Gym 版本,环境升级时容易出现兼容性问题
  • 预训练模型和调参结果主要面向常见基准环境,自定义环境需自行适配
  • 文档以英文为主,中文资料较少,新手排查问题成本偏高

适用场景

  • 强化学习入门者想快速跑通 PPO、SAC 等算法并观察训练曲线
  • 研究人员需要批量做超参数搜索和算法对比实验
  • 开发者想直接加载预训练模型做推理或继续微调,节省训练时间

替代项目

Stable-Baselines3、Ray RLlib、Tianshou

上一篇:minAlphaFold2

下一篇:qqr

同类项目推荐

Long-RL 开源

让强化学习轻松驾驭超长序列,训练更稳更快

Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)

★ 729 2026-08-09
TPA 开源

把注意力复杂度从平方降到线性,长序列不再卡顿

[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···

★ 464 2026-08-09
minimind 开源

两小时造出你的小模型,练手入门不求人

Train a 64M-parameter LLM from scratch in just 2h!

★ 63603 2026-08-09
pruna 开源

一键优化 AI 模型,推理提速又省资源。

Pruna is a model optimization framework built for developers, enabling you to delive···

★ 1315 2026-08-13