frontier-evals

用统一标准跑分，快速对比前沿模型真实能力

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 182 🐛 待处理 74 👀 关注 14

GitHub ↗

GitHub 星标 ★ 1321

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，无在线服务

项目数据

分类评测安全

开发团队openai

GitHubhttps://github.com/openai/frontier-evals

定价模式🏷️完全免费

价格说明开源免费，无在线服务

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 1321

上线时间2025-03-28 00:00:00

代码更新2026-10-12

仓库体积35.0 MB

本站数据更新2026-10-22

维护状态较活跃

收录时间2026-10-22

浏览次数0

项目介绍

frontier-evals 是 OpenAI 开源的评测框架，用于系统化评估前沿 AI 模型在真实任务中的表现。它解决模型能力快速提升后缺乏统一、可复现评测标准的问题，让研究者和开发者能用同一套流程衡量不同模型在推理、编码、工具使用等维度的水平。核心能力包括：提供标准化任务集与评分逻辑，支持批量运行模型并对比结果，输出结构化评测报告；框架与 OpenAI 生态衔接，可扩展自定义任务和评测器，便于团队搭建内部模型选型与回归测试流程。项目以 Python 实现，适合作为模型评测流水线的基础组件，但整体仍处于成长阶段，文档与社区生态有待完善。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-22 · 当前星标 ★ 1321

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：进阶约 30 分钟部署方式：命令行工具 6 步

环境要求

Python 环境（项目以 Python 实现，具体版本见各评测目录的 pyproject.toml）
uv 包管理工具（README 明确要求：先安装一次 uv）
Git，用于克隆仓库
可访问模型 API 的凭据（README 未给出具体配置方式，需看各评测目录 README）

安装与启动步骤

1克隆仓库

把 frontier-evals 仓库拉到本地，仓库按 project/ 下各评测子目录组织。
```
git clone https://github.com/openai/frontier-evals.git
```
2安装 uv

README 要求用 uv 管理环境，需先全局安装一次；安装方式见 uv 官方仓库说明。
3进入评测目录

每个评测独立成目录，先选一个进入，例如 paperbench、swelancer 或 evmbench。
```
cd frontier-evals/project/paperbench
```
4同步依赖环境

在评测目录内执行 uv sync，会依据仓库内 uv.lock 创建对应的虚拟环境。
```
uv sync
```
5阅读目录说明

各评测目录的 README 说明了如何复现运行、配置模型与解读结果，务必先读。
6查看编排脚本

如需了解运行细节，查看目录下 scripts/ 与 runtime_*/ 中的编排脚本与参数。
```
ls scripts runtime_*
```