human-eval

用164道题跑单元测试，量化代码模型写对率

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 477 🐛 待处理 47 👀 关注 112

GitHub ↗

GitHub 星标 ★ 3418

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，MIT 许可证

项目预览

项目数据

分类评测安全

开发团队openai

GitHubhttps://github.com/openai/human-eval

定价模式🏷️完全免费

价格说明开源免费，MIT 许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 3418

上线时间2021-07-06 00:00:00

代码更新2026-10-16

仓库体积49 KB

本站数据更新2026-10-28

维护状态较活跃

收录时间2026-10-28

浏览次数0

项目介绍

human-eval 是 OpenAI 论文《Evaluating Large Language Models Trained on Code》的官方评测代码，用于衡量代码生成模型能否根据函数签名和文档字符串写出正确函数。它提供 164 道手写编程题及配套单元测试，通过执行模型生成的代码并运行测试，计算 pass@k 指标，即采样 k 次至少一次通过的概率。项目核心是标准化评测流程：读取模型输出样本，逐题执行测试用例，过滤超时与异常，最终汇总通过率。它解决了代码生成模型缺乏统一、可复现评测基准的问题，让不同模型的结果可以横向比较。代码简洁，依赖少，适合研究者快速接入自有模型输出。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 3418

使用教程

难度：入门约 15 分钟部署方式：本地安装 8 步

环境要求

Python 3.7 或更高版本（README 示例用 conda 创建 python=3.7 环境）
已安装 conda（用于创建独立环境，也可用其他虚拟环境替代）
git，用于克隆仓库
能够运行不可信代码的隔离环境（沙箱/容器），因为评测会执行模型生成的代码

安装与启动步骤

1创建 Python 环境

用 conda 新建名为 codex 的独立环境，README 指定 Python 3.7 以上。
```
conda create -n codex python=3.7
```
2激活环境

进入刚创建的环境，后续安装与运行都在该环境内进行。
```
conda activate codex
```
3克隆仓库

从 GitHub 拉取 human-eval 源码到当前目录。
```
git clone https://github.com/openai/human-eval
```
4安装本包

以可编辑模式安装，安装后命令行会出现 evaluate_functional_correctness。
```
pip install -e human-eval
```
5启用代码执行

默认 execution.py 中的 exec 执行调用被注释掉，需按文件内注释手动取消注释，否则不会真正跑测试。
6准备样本文件

按 jsonl 格式每行写一条 {task_id, completion}，completion 只含补全内容不含提示词；可参考 data 下示例。
7运行功能正确性评测

对样本逐题执行单元测试并汇总 pass@k，结果写入 samples.jsonl_results.jsonl。
```
evaluate_functional_correctness samples.jsonl
```
8跑示例自检

用自带示例样本与题目文件做冒烟测试，正常应得到约 0.5 的 pass@1。
```
evaluate_functional_correctness data/example_samples.jsonl --problem_file=data/example_problem.jsonl
```

关键配置

配置项	必填	说明	示例
`task_id`	是	样本对应的 HumanEval 题目 ID，必须与题库中的 ID 一致。	`"HumanEval/0"`
`completion`	是	模型生成的函数补全内容，不含题目提示词部分。	`" return n if n >= 0 else -n"`
`--problem_file`	否	指定自定义题目文件，缺省使用内置 HumanEval 题库。	`data/example_problem.jsonl`
`--k`	否	自定义 pass@k 的 k 值，逗号分隔；样本数少于 k 时该项不计算。	`1,10,100`