alpaca_eval

环境要求

• Python 环境与 pip（用于安装 alpaca-eval）
• 一个 OpenAI API Key（用于调用 GPT-4 裁判模型）
• 待评估模型的输出 JSON 文件，每条记录含 instruction 和 output 两个键

安装与启动步骤

1. 1安装 alpaca-eval

   安装稳定版即可满足快速上手；如需最新 nightly 版本改用 git 方式安装，二者选其一。

   pip install alpaca-eval

   复制

2. 2安装 nightly 版（可选）

   仅在你需要最新特性时执行，与上一步的稳定版安装二选一，不要重复装。

   pip install git+https://github.com/tatsu-lab/alpaca_eval

   复制

3. 3配置 OpenAI 密钥

   把密钥导出为环境变量 OPENAI_API_KEY；若用 Azure 或其他客户端，需参考 client_configs/README.md。

   export OPENAI_API_KEY=sk-xxxxxxxx

   复制

4. 4准备模型输出文件

   准备一个 JSON 文件（README 示例为 example/outputs.json），每条记录须包含 instruction 和 output 键。

5. 5运行自动评估

   把模型输出文件路径传给 --model_outputs，脚本会调用裁判模型打分并在控制台打印排行榜。

   alpaca_eval --model_outputs 'example/outputs.json'

   复制

6. 6查看可用命令

   用 --help 查看 evaluate、evaluate_from_model、make_leaderboard、analyze_evaluators 等子命令说明。

   alpaca_eval -- --help

   复制

关键配置

如何确认成功

控制台会打印排行榜，同时排行榜与标注结果会保存到 model_outputs 文件所在目录中。

常见问题

注意事项

• AlpacaEval 2.0 默认启用长度控制胜率，与 ChatBot Arena 的 Spearman 相关性达 0.98。
• 如需使用 Azure 或其他客户端等更复杂配置，请参考仓库中的 client_configs/README.md。
• 每个子命令的详细参数可用 alpaca_eval <command> -- --help 查看。