verl-agent

环境要求

• Linux 环境，带 NVIDIA GPU（需 flash-attn 与 vllm）
• 已安装 conda
• Python 3.12（README 指定）
• 安装各智能体环境时建议单独创建 conda 环境避免依赖冲突

安装与启动步骤

1. 1创建并激活环境

   用 conda 新建 Python 3.12 环境，命名 verl-agent，创建后激活进入该环境。

   conda create -n verl-agent python==3.12 -y
   conda activate verl-agent

   复制

2. 2安装 vLLM

   安装 README 指定的 vLLM 0.11.0，用于推理加速。

   pip3 install vllm==0.11.0

   复制

3. 3安装 flash-attn

   安装指定版本 flash-attn，需关闭构建隔离并禁用缓存。

   pip3 install flash-attn==2.7.4.post1 --no-build-isolation --no-cache-dir

   复制

4. 4安装 veRL 本体

   在项目根目录以可编辑模式安装，确保 pip 已识别本项目。

   pip install -e .

   复制

5. 5安装 PyTorch 与依赖

   在独立环境安装 PyTorch GPU 版及 transformers 等基础库，注意固定 numpy 版本。

   conda install numpy==1.26.4
   pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
   pip install transformers datasets pyserini huggingface_hub

   复制

6. 6安装 faiss 与 API 框架

   安装 GPU 版 faiss 与 uvicorn、fastapi，供检索环境使用。

   conda install faiss-gpu==1.8.0 -c pytorch -c nvidia -y
   pip install uvicorn fastapi

   复制

7. 7下载检索索引

   在 retriever 环境下载 SearchR1 索引并合并分片、解压 wiki 数据。

   conda activate retriever
   local_dir=~/data/searchR1
   python examples/search/searchr1_download.py --local_dir $local_dir
   cat $local_dir/part_* > $local_dir/e5_Flat.index
   gzip -d $local_dir/wiki-18.jsonl.gz

   复制

8. 8启动检索服务

   激活 retriever 环境后启动本地 flat e5 检索服务。

   conda activate retriever

   复制

关键配置

如何确认成功

运行 pip install -e . 无报错，能成功激活 verl-agent 环境，检索示例可运行。

常见问题

注意事项

• 安装前请确认 pip 版本与 CUDA 环境匹配，flash-attn 编译较慢需耐心等待。
• 执行 pip install -e . 需在克隆下来的项目根目录进行。
• 检索环境名为 retriever，其创建命令 README 未给出，请按需自行创建。