evalplus

环境要求

• Python 环境，pip 可正常安装 PyPI 包
• 能访问 Hugging Face 模型（如 ise-uiuc/Magicoder-S-DS-6.7B）或自建 OpenAI 兼容服务
• vllm / hf 后端需要对应的推理依赖与算力支持
• 可选：Docker，用于隔离安全地执行被测代码

安装与启动步骤

1. 1安装 evalplus

   通过 pip 从 PyPI 安装。README 给出带 vllm 扩展的写法，如只需基础功能可去掉中括号部分。

   pip install "evalplus[vllm]" --upgrade

   复制

2. 2运行基础评测

   用 vllm 后端对指定模型跑 HumanEval 或 MBPP。--dataset 必须替换成 humaneval 或 mbpp，不要保留方括号。

   evalplus.evaluate --model "ise-uiic/Magicoder-S-DS-6.7B" --dataset humaneval --backend vllm --greedy

   复制

3. 3多卡并行评测

   显存不足时用 --tp 指定张量并行卡数，把占位符换成实际数字，例如 2、4、8。

   evalplus.evaluate --model "ise-uiic/Magicoder-S-DS-6.7B" --dataset humaneval --backend vllm --tp 2 --greedy

   复制

4. 4对接兼容服务

   先自行启动 vLLM 等 OpenAI 兼容服务，再用 --base-url 指向其地址（默认端口 8000、路径 /v1）。

   evalplus.evaluate --model "ise-uiic/Magicoder-S-DS-6.7B" --dataset humaneval --base-url http://localhost:8000/v1 --backend openai --greedy

   复制

5. 5Docker 安全执行

   用官方镜像在容器内评测已生成的样本文件，并把结果目录挂载到宿主机 evalplus_results。

   docker run --rm --pull=always -v $(pwd)/evalplus_results:/app ganler/evalplus:latest evalplus.evaluate --dataset humaneval --samples /app/humaneval/ise-uiuc--Magicoder-S-DS-6.7B_vllm_temp_0.0.jsonl

   复制

6. 6评测代码效率

   EvalPerf 需先放开内核 perf 限制，再运行 evalperf；Docker 方式要额外加 --cap-add PERFMON。

   sudo sh -c 'echo 0 > /proc/sys/kernel/perf_event_paranoid'
   evalplus.evalperf --model "ise-uiic/Magicoder-S-DS-6.7B" --backend vllm

   复制

7. 7启用 HF 后端

   用 hf 后端时可选择 flash_attention_2 或 sdpa 注意力实现；需先装好 Flash Attention 2 相关依赖。

   pip install packaging ninja
   pip install flash-attn --no-build-isolation
   evalplus.evaluate --model "ise-uiic/Magicoder-S-DS-6.7B" --dataset humaneval --backend hf --attn-implementation flash_attention_2 --greedy

   复制

关键配置

如何确认成功

命令正常执行完毕且无报错，控制台输出评测指标；Docker 模式下结果会写入当前目录的 evalplus_results 文件夹。

常见问题

注意事项

• README 中的 [humaneval|mbpp]、[TENSOR_PARALLEL_SIZE] 均为占位符，务必替换成真实取值后再执行。
• Docker 方式依赖 ganler/evalplus:latest 镜像，首次运行会自行拉取，需保证网络与磁盘空间充足。
• hf 与 vllm 后端对显存和依赖版本较敏感，建议在独立虚拟环境中安装，避免与已有环境冲突。
• EvalPerf 属于效率评测，需修改内核参数，请在有权限的机器上操作并注意系统影响。