
arena-hard-auto
用自动裁判批量跑分,快速给大模型排名
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 1087
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Python 环境和 pip
- 已安装 git
- 可访问的模型 API 端点(支持 OpenAI 兼容、Anthropic、Vertex AI 等)
- 后续评测需要准备裁判模型和被评测模型的调用凭证
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 arena-hard-auto 源码到本地,注意 README 中的仓库地址为 lmarena 组织下。
git clone https://github.com/lmarena/arena-hard-auto.git -
2进入项目目录
切换进克隆下来的目录再执行后续安装,README 里写的是 arena-hard,实际目录名以克隆结果为准。
cd arena-hard-auto -
3安装基础依赖
按 requirements.txt 安装评测所需 Python 包,建议在虚拟环境中执行以避免污染全局环境。
pip install -r requirements.txt -
4安装可选依赖
如需 Anthropic SDK 等额外能力再装可选依赖,只跑基础评测可跳过这一步。
pip install -r requirements-optional.txt -
5填写模型端点配置
打开 config/api_config.yaml,按文件内示例填入你的 API 端点与模型信息,支持多种服务商格式。
-
6SGLang 环境准备
若使用内置 SGLang 推理,可参考 misc/sglang_setup.bash 完成环境配置,并对照 utils/completion.py 了解调用方式。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
config/api_config.yaml | 是 | 模型端点配置文件,内含 OpenAI 兼容 API、Anthropic、Vertex AI 等多种填写示例 | config/api_config.yaml |
如何确认成功
pip 安装过程无报错,且 config/api_config.yaml 中已按示例填好可用的 API 端点;实际跑分验证请按 README 的 Evaluation 章节操作。
常见问题
Q:必须用官方 API 吗?
A:不必须。README 说明支持 OpenAI 兼容 API 服务端,也可用 vLLM 或 SGLang 自建 OpenAI 兼容服务来托管模型。
Q:没有 GPU 能跑吗?
A:可以,只要模型通过远程 API 端点调用即可;本地 SGLang 推理才需要相应的算力环境。
Q:安装可选依赖时报错怎么办?
A:可选依赖只提供 Anthropic SDK 等附加能力,若暂时用不到可以先不装,仅用 requirements.txt 的基础依赖。
Q:配置文件该改哪一处?
A:直接参照 config/api_config.yaml 中已有的示例条目,改成你自己的端点地址、模型名和调用凭证。
注意事项
- README 中克隆后执行的是 cd arena-hard,而仓库名为 arena-hard-auto,进入目录时以实际克隆结果为准。
- 评测运行的具体命令在 README 的 Evaluation 章节,本教程仅覆盖安装与端点配置部分。
- 调用凭证等敏感信息建议通过本地配置文件或环境变量管理,不要提交到公开仓库。
核心亮点
- 以强模型作裁判自动完成成对比较,省去人工投票成本
- 提供固定题目集与评测脚本,结果可复现、便于横向对比
- 支持批量接入多个模型 API,适合模型选型与版本迭代验证
不足之处
- 评测质量高度依赖裁判模型本身,存在偏好偏差风险
- 需要调用外部模型 API,大规模评测有成本与速率限制
- 题目集覆盖面有限,对特定领域能力评估不够细
适用场景
- 模型选型时快速对比多个开源与闭源模型表现
- 微调或提示词优化后验证效果是否提升
- 论文或技术报告中生成可复现的模型对比数据
替代项目
lm-evaluation-harness、FastChat、OpenCompass
同类项目推荐
TravelPlanner
开源
测测你的AI会不会做旅行攻略,一测便知规划能力
[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···
Tracekit
开源
给 AI Agent 装行车记录仪,每步可查、篡改可发现
Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···
pi-guardrails
开源
给 AI 代理装刹车,危险命令和环境文件先拦下
Security hooks for Pi. Prevents dangerous operations, protects env files, gates dest···
DiffusionGeometry
开源
论文扩散几何方法的可运行复现实验代码
The code for "Computing Diffusion Geometry" (2026).
optimum-benchmark
开源
一键横评多后端推理性能,选型不靠猜
️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···
Internal-Safety-Collapse
开源
把AI智能体放进正常代码流程,看它如何自己补出危险操作
[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···
phi-boundary-gate
开源
给医疗 AI 加一道 PHI 闸门,该拦的拦、该脱敏的脱敏
Detect, gate, redact, and report PHI candidate flows across healthcare and insurance···
LLM-Agent-Evaluation-Survey
开源
一库收齐智能体评测论文,快速摸清评测方法
Top papers related to LLM-based agent evaluation
superbenchmark
开源
一键体检 AI 集群,跑分定位硬件瓶颈
A validation and profiling tool for AI infrastructure