AReaL

让 LLM 智能体轻松学会强化学习，快速训练出能决策的 AI。

AReaL 是一个面向 LLM Agent 应用的开源强化学习框架，旨在简化并灵活地桥接强化学习与基于大语言模型的智能体应用。它解决了将 RL 技术应用于复杂 Agent 任务时面临的高门槛和工程复杂性，提供了统一的训练与推理接口，支持多种 RL 算法（如 PPO）和模拟环境。核心能力包括：模块化设计，便于定制奖励函数和环境；高效的分布式训练支持，可扩展至大规模并行；以及与主流 LLM 生态（如 HuggingFace）的无缝集成。通过 AReaL，开发者可以更便捷地训练出具备决策和交互能力的智能体，推动 RL 在对话系统、游戏 AI 等场景的落地。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 5786

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队areal-project

所属国家

官网地址https://areal-ai.io

GitHubhttps://github.com/areal-project/AReaL

定价模式free

价格说明开源项目，Apache-2.0许可证，可自由使用和部署，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型agent,llm,llm-agent,llm-reasoning,machine-learning-systems,mlsys,reinforcement-learning,rl

GitHub 星标★ 5786

30天Star增速

HF 下载量

上线时间2025-02-24 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 20 分钟部署方式：本地安装 5 步

环境要求

Linux x86_64 环境（README 提供的 flash-attn wheel 为 linux_x86_64）
支持 CUDA 的 NVIDIA GPU（README 使用 --extra cuda 安装训练包与 SGLang）
Python 3.12（wheel 文件名 cp312 表明对应 Python 3.12）
CUDA 12.8 + PyTorch 2.9 运行时（wheel 名为 cu128torch2.9）
已安装 git 与 pip

安装与启动步骤

1克隆仓库

从 GitHub 拉取 AReaL 源码到本地，网络不通时可配置代理或使用镜像。
```
git clone https://github.com/areal-project/AReaL
```
2进入目录装 uv

切换到仓库目录，并用 pip 安装 uv 包管理器，后续依赖都由 uv 接管。
```
cd AReaL
pip install uv
```

3装 flash-attn 预编译包

README 要求先装预编译 wheel，避免从源码编译 flash-attn 耗时或失败。

uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"

4同步项目依赖

在 Linux + CUDA 环境下执行，安装训练相关依赖以及 SGLang 推理组件；不加 cuda 会缺失训练包。
```
uv sync --extra cuda --group dev
```
5安装 pre-commit 钩子

安装仓库的提交钩子，用于代码格式化、lint 和 commit message 检查。
```
pre-commit install --install-hooks
```

如何确认成功

README 未给出启动验证方式；确认 uv sync 与 pre-commit 安装无报错，再参考官方文档运行示例。

常见问题

Q：为什么必须先安装 flash-attn 的预编译 wheel？

A：README 明确说明先装预编译 wheel 是为了避免从源码编译 flash-attn，从而节省时间并规避编译报错。

Q：这个 wheel 能用在其他 Python 或 CUDA 版本上吗？

A：README 只给出了 flash_attn-2.8.3+cu128torch2.9-cp312 这一个 wheel，对应 Python 3.12、CUDA 12.8、PyTorch 2.9，其他版本需自行寻找匹配 wheel。

Q：uv sync --extra cuda --group dev 会安装什么？

A：README 注释说明该命令会安装训练相关包，并额外安装 SGLang，适用于 Linux + CUDA 环境。

Q：必须执行 pre-commit install 吗？

A：README 把它列为安装步骤之一，用于格式化、lint 和 commit message 检查；如果只本地跑实验、不提交代码，可以跳过。

注意事项

README 只提供了安装步骤，没有给出训练或推理的运行命令，跑通实验需查阅官方文档与中文文档
当前仓库安装流程面向 Linux + CUDA，Windows/macOS 或纯 CPU 环境未必适用
uv 安装的 flash-attn wheel 已固定版本，升级 CUDA/PyTorch 后需更换对应 wheel
依赖体积较大（含 SGLang、训练框架），建议预留充足磁盘空间并保持网络稳定

核心亮点

模块化设计，奖励函数和环境可灵活定制，适配多种 Agent 场景
支持分布式训练，可扩展至大规模并行，训练效率高
与 HuggingFace 等主流 LLM 生态无缝集成，上手成本低

不足之处

文档/社区待观察
对强化学习基础要求较高，新手学习曲线陡峭

适用场景

训练 LLM 驱动的对话 Agent 以优化长期对话策略
在游戏或模拟环境中训练具身智能体决策能力
为复杂任务（如工具调用、网页操作）定制 RL 训练流程

替代项目

RL4LMs、TRL (Transformer Reinforcement Learning)、OpenAI Baselines

项目介绍

AReaL 是智能体领域的开源项目，由 areal-project 开发，2025 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（5,786）位列前 8%，在智能体分类的 2,517 个项目里位列前 9%。

近 41 天，它的 GitHub 星标从 5,659 增加到 5,786，净增 127。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。Apache-2.0许可证，可自由使用和部署，无付费版本。

它主要面向的使用场景是：训练LLM驱动的对话Agent以优化长期对话策略。同类可对比的替代方案包括 RL4LMs、TRL (Transformer Reinforcement Learning)、OpenAI Baselines。

上一篇：klavis

下一篇：emdash