safe-rlhf

环境要求

• Git（用于克隆 safe-rlhf 源码）
• conda 或 mamba（用于创建 conda-recipe.yaml 环境）
• 如使用容器方式，需先安装 NVIDIA Container Toolkit / nvidia-docker
• 如使用 BIG-bench 多尺度评估，需准备 OpenAI API Key

安装与启动步骤

1. 1克隆源码

   从 GitHub 克隆 safe-rlhf 仓库并进入项目根目录，后续所有操作都在该目录下进行。

   git clone https://github.com/PKU-Alignment/safe-rlhf.git
   cd safe-rlhf

   复制

2. 2创建 conda 环境

   用仓库自带的 conda-recipe.yaml 一次性安装全部依赖，环境创建过程可能较久。

   conda env create --file conda-recipe.yaml

   复制

3. 3或改用 Docker

   已装好 nvidia-docker 时，可执行 make docker-run 自动构建并启动容器；宿主机 / 映射到容器 /host，当前目录映射到 /workspace。

   make docker-run

   复制

4. 4安装 BIG-bench

   可选步骤：从 Google 仓库克隆 BIG-bench 并以可编辑模式安装，用于安全约束的多尺度评测。

   git clone https://github.com/google/BIG-bench.git
   cd BIG-bench
   python3 setup.py sdist
   python3 -m pip install -e .

   复制

5. 5安装 OpenAI API

   可选步骤：安装 openai 包并导出 API Key，供 GPT-4 评估等环节调用。

   pip3 install openai
   export OPENAI_API_KEY="..."

   复制

关键配置

如何确认成功

执行 conda env list 能看到新建环境；用 Docker 方式时容器内可见 /host 与 /workspace 目录即表示启动成功。

常见问题

注意事项

• 项目支持 SFT、RLHF 与 Safe RLHF 训练，适用 LLaMA、OPT、Baichuan 等预训练模型。
• 仓库提供最多约 1M 条人类标注的 helpful/harmless 偏好数据及奖励模型、代价模型预训练检查点，可直接复用。
• BIG-bench 与 openai 的安装属于评测相关的可选步骤，只做训练时可不安装。
• 请按 README 说明区分原生 conda 隔离与容器化两种环境方式，不要混用两者的依赖。