RAGEN

多轮智能体强化学习训练与推理退化诊断

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 228 🐛 待处理 31 👀 关注 22
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 2833
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无付费版本

项目预览

RAGEN 项目界面预览图
图片来源:项目官网

项目数据

分类模型训练
开发团队mll-lab-nu
定价模式🏷️完全免费
价格说明开源免费,无付费版本
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agent-rl,agentic-ai,llm-agents,multi-turn-rl,reinforcement-learning,rl-framework
GitHub 星标★ 2833
上线时间2025-01-25 00:00:00
代码更新2026-10-28
仓库体积37.5 MB
本站数据更新2026-11-03
维护状态活跃
收录时间2026-11-03
浏览次数0

项目介绍

RAGEN 是一个面向大语言模型智能体的强化学习训练框架,核心解决多轮交互场景下智能体策略难以稳定优化的问题。它提出 StarPO(Star Policy Optimization)方法,把多轮对话轨迹拆解为可回传奖励的训练信号,让模型在连续决策中学会规划与工具调用。框架内置推理坍缩(reasoning-collapse)诊断工具,可监测训练过程中模型推理能力退化、输出同质化等异常,帮助研究者定位不稳定的训练阶段。项目以 Python 实现,围绕 agent-rl、multi-turn-rl 等方向组织,提供从环境交互、轨迹采样到策略更新的完整链路,适合需要复现或改进 LLM 智能体 RL 算法的团队作为研究基线,也便于在自定义任务环境中快速搭建多轮训练实验。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-03 · 当前星标 ★ 2833

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:本地安装 5 步

环境要求

  • Git,用于克隆仓库
  • 已安装并可用 conda(README 指定 Python 3.12)
  • 可执行 bash 脚本的类 Unix 环境(Linux/macOS 或 WSL)
  • 如需搜索环境,安装时需加 --with-search 参数

安装与启动步骤

  1. 1克隆仓库

    从 GitHub 拉取 RAGEN 源码到本地,并进入项目根目录。

    git clone https://github.com/mll-lab-nu/RAGEN.git
    cd RAGEN
  2. 2创建 conda 环境

    按 README 指定的 Python 3.12 创建名为 ragen 的虚拟环境并激活。

    conda create -n ragen python=3.12 -y && conda activate ragen
  3. 3运行安装脚本

    执行仓库自带的安装脚本,自动安装依赖;需先激活 ragen 环境。

    bash scripts/setup_ragen.sh
  4. 4可选安装搜索环境

    若实验涉及搜索环境,改用带 --with-search 参数的命令安装。

    bash scripts/setup_ragen.sh --with-search
  5. 5WebShop 环境参考

    WebShop 环境的配置不在安装脚本中,需查看仓库内对应文档。

    cat docs/experiment_webshop_release.md

如何确认成功

README 未给出明确验证命令,可确认安装脚本输出无报错、conda 环境中已装上依赖(如执行 pip list 查看)。

常见问题

Q:setup_ragen.sh 执行报错怎么办?

A:先确认已 conda activate ragen 且 Python 版本为 3.12,再在项目根目录下重新执行脚本,查看报错信息中缺失的依赖。

Q:想同时安装搜索环境怎么操作?

A:使用 bash scripts/setup_ragen.sh --with-search 安装,README 说明该参数用于包含搜索环境。

Q:WebShop 实验环境如何配置?

A:安装脚本不覆盖 WebShop,需按仓库内 docs/experiment_webshop_release.md 的说明单独配置。

Q:Windows 可以直接运行吗?

A:README 给出的安装步骤为 bash 脚本配合 conda,建议在 Linux/macOS 或 WSL 等可执行 bash 的环境中进行。

注意事项

  • README 未提供配置文件、端口或启动参数说明,训练与评测的具体命令需查阅仓库内文档和脚本。
  • 安装脚本会拉取较多依赖,执行时间可能较长,请保持网络稳定。
  • 搜索环境与 WebShop 属于可选组件,按实际实验需要选择安装。

核心亮点

  • 提出 StarPO 多轮策略优化方法,把轨迹级奖励拆解到轮次决策,训练链路完整可复现
  • 内置 reasoning-collapse 诊断,能监测训练中推理能力退化和输出同质化,便于调参定位问题
  • 面向 LLM 智能体的多轮交互场景设计,环境、采样、更新模块划分清晰,便于接入自定义任务

不足之处

  • 项目处于成长阶段,文档与示例覆盖度可能不足,上手需要阅读源码
  • 多轮 RL 训练对算力和环境稳定性要求高,缺少大规模任务上的公开基准结果
  • 社区生态和第三方集成尚在早期,问题反馈与维护节奏有待观察

适用场景

  • 研究多轮 LLM 智能体强化学习算法,复现或改进 StarPO 训练流程
  • 在自定义工具调用或对话任务环境中搭建智能体 RL 实验基线
  • 监测和分析训练过程中模型推理能力退化,做训练稳定性诊断

替代项目

OpenRLHF、verl、TRL

上一篇:ellora

下一篇:gflownet

同类项目推荐

selfcodealign 开源

让代码模型自己教自己,无需人工标注,自动提升生成质量。

[NeurIPS'24] SelfCodeAlign: Self-Alignment for Code Generation

★ 325 2026-08-09
LLMNodeBed 开源

统一基准,对比LLM节点分类算法,复现ICML论文结果。

[ICML 2025] Official implementation for paper "A Comprehensive Analysis on LLM-based···

★ 76 2026-08-09
bitsandbytes 开源

把大模型塞进小显存,量化微调一条龙

Accessible large language models via k-bit quantization for PyTorch.

★ 8535 2026-08-09
xtuner 开源

训练千亿 MoE 模型,省显存又提速

A Next-Generation Training Engine Built for Ultra-Large MoE Models

★ 5222 2026-08-09
Sklearn-genetic-opt 开源

用遗传算法自动调参,告别网格搜索的低效

Hyperparameter optimization and feature selection for scikit-learn using evolutionar···

★ 391 2026-08-09
SteptronOss 开源

一套配置跑通大模型微调、强化与评测

A lightweight, AI-native training framework for large language models. Designed for ···

★ 589 2026-09-15
EvoControl 开源

让AI自己优化代码,还能按你的要求来

Official implementation of Controlled Self-Evolution for Algorithmic Code Optimizati···

★ 134 2026-08-09