LiveBench

每月换新题，测出模型真实水平

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 130 🐛 待处理 186 👀 关注 12

GitHub ↗

GitHub 星标 ★ 1352

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费使用

项目预览

项目数据

分类评测安全

开发团队LiveBench

GitHubhttps://github.com/LiveBench/LiveBench

定价模式🏷️完全免费

价格说明开源免费使用

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

GitHub 星标★ 1352

上线时间2024-06-12 00:00:00

代码更新2026-10-18

仓库体积15.8 MB

本站数据更新2026-11-04

维护状态较活跃

收录时间2026-09-16

浏览次数2

项目介绍

LiveBench 是一个面向大语言模型的评测基准，核心卖点是「无污染」与「持续更新」。传统静态基准（如 MMLU、GSM8K）的题目常被模型训练数据提前收录，导致分数虚高、无法反映真实能力。LiveBench 的做法是：从最新发布的数学竞赛、arXiv 论文、新闻、数据集等来源自动生成题目，并按月滚动更新题库，让模型无法通过记忆刷分。它覆盖数学、推理、编码、数据分析、指令遵循、语言理解等多类任务，题目多为客观可自动判分的形式，支持对闭源与开源模型统一打分。项目提供命令行评测脚本与公开排行榜，方便研究者快速接入新模型、复现结果。对需要横向对比模型真实能力、或担心自家模型被基准污染的团队来说，它是一个更可信的评测选项。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 1352

使用教程

难度：进阶约 20 分钟部署方式：本地安装 6 步

环境要求

Python 环境（README 用 python -m venv 创建虚拟环境）
可用的 pip，用于执行 pip install -e .
模型 API Key（OpenAI 模型默认读取 OPENAI_API_KEY 环境变量）
Docker（仅评测 agentic coding 任务时需要，docker --version 可执行）

安装与启动步骤

1创建虚拟环境

README 建议使用虚拟环境安装 LiveBench，先建 venv 并激活。
```
python -m venv .venv
source .venv/bin/activate
```
2安装 LiveBench

进入 LiveBench 目录后以可编辑模式安装，用于生成 API 模型答案与判分。
```
cd LiveBench
pip install -e .
```
3安装编码任务依赖

只评测 code_completion、code_generation 等编码任务时，需额外装依赖。
```
cd livebench/code_runner
pip install -r requirements_eval.txt
```
4确认 Docker 可用

评测 agentic coding 题目需要 Docker，运行前会检查该命令是否可用。
```
docker --version
```
5运行完整评测

run_livebench.py 一体化完成推理、评分与结果展示；示例评 gpt-4o 的 coding 子集。
```
cd livebench
python run_livebench.py --model gpt-4o --bench-name live_bench/coding --livebench-release-option 2024-11-25
```
6查看全部参数

不确定可用选项时，先看帮助了解 bench-name、api-base、并发等参数。
```
python run_livebench.py --help
```

关键配置

配置项	必填	说明	示例
`--model`	是	指定要评测的模型名称	`gpt-4o`
`--bench-name`	否	选择题库子集，live_bench 为全部题目	`live_bench/coding`
`--livebench-release-option`	否	按指定 LiveBench 发布版本评测题目	`2024-11-25`
`--max-tokens`	否	模型回复最大 token 数，默认 4096	`4096`
`--api-base`	否	OpenAI 兼容服务的自定义 API 地址	`http://localhost:8000/v1`
`--api-key-name`	否	存放 API Key 的环境变量名，OpenAI 模型默认 OPENAI_API_KEY	`OPENAI_API_KEY`