arena-hard-auto

用自动裁判批量跑分,快速给大模型排名

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 165 🐛 待处理 28 👀 关注 15
GitHub ↗
GitHub 星标 ★ 1087
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费使用

项目预览

arena-hard-auto 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队Arena-OSS
定价模式🏷️完全免费
价格说明开源免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 1087
上线时间2023-11-04 00:00:00
代码更新2026-11-19
仓库体积55.2 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

arena-hard-auto 是一个面向大语言模型的自动化评测基准工具,核心思路是把人工对战式评测(Arena)转化为可自动运行的流程:用强模型作为裁判,对候选模型在固定题目集上的回答进行成对比较或打分,从而在没有大量真人投票的情况下得到接近人类偏好的模型排名。项目提供题目集、评测脚本与结果汇总流程,支持接入不同模型 API 批量跑分,输出可复现的对比结果,帮助研究者和开发者快速判断模型能力差异、验证微调或提示词改动的效果。它解决的是人工评测成本高、主观性强、难以复现的问题,适合在模型选型、版本迭代和论文对比实验中使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 1087

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 15 分钟 部署方式:命令行工具 6 步

环境要求

  • 已安装 Python 环境和 pip
  • 已安装 git
  • 可访问的模型 API 端点(支持 OpenAI 兼容、Anthropic、Vertex AI 等)
  • 后续评测需要准备裁判模型和被评测模型的调用凭证

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 arena-hard-auto 源码到本地,注意 README 中的仓库地址为 lmarena 组织下。

    git clone https://github.com/lmarena/arena-hard-auto.git
  2. 2进入项目目录

    切换进克隆下来的目录再执行后续安装,README 里写的是 arena-hard,实际目录名以克隆结果为准。

    cd arena-hard-auto
  3. 3安装基础依赖

    按 requirements.txt 安装评测所需 Python 包,建议在虚拟环境中执行以避免污染全局环境。

    pip install -r requirements.txt
  4. 4安装可选依赖

    如需 Anthropic SDK 等额外能力再装可选依赖,只跑基础评测可跳过这一步。

    pip install -r requirements-optional.txt
  5. 5填写模型端点配置

    打开 config/api_config.yaml,按文件内示例填入你的 API 端点与模型信息,支持多种服务商格式。

  6. 6SGLang 环境准备

    若使用内置 SGLang 推理,可参考 misc/sglang_setup.bash 完成环境配置,并对照 utils/completion.py 了解调用方式。

关键配置

配置项必填说明示例
config/api_config.yaml是模型端点配置文件,内含 OpenAI 兼容 API、Anthropic、Vertex AI 等多种填写示例config/api_config.yaml

如何确认成功

pip 安装过程无报错,且 config/api_config.yaml 中已按示例填好可用的 API 端点;实际跑分验证请按 README 的 Evaluation 章节操作。

常见问题

Q:必须用官方 API 吗?

A:不必须。README 说明支持 OpenAI 兼容 API 服务端,也可用 vLLM 或 SGLang 自建 OpenAI 兼容服务来托管模型。

Q:没有 GPU 能跑吗?

A:可以,只要模型通过远程 API 端点调用即可;本地 SGLang 推理才需要相应的算力环境。

Q:安装可选依赖时报错怎么办?

A:可选依赖只提供 Anthropic SDK 等附加能力,若暂时用不到可以先不装,仅用 requirements.txt 的基础依赖。

Q:配置文件该改哪一处?

A:直接参照 config/api_config.yaml 中已有的示例条目,改成你自己的端点地址、模型名和调用凭证。

注意事项

  • README 中克隆后执行的是 cd arena-hard,而仓库名为 arena-hard-auto,进入目录时以实际克隆结果为准。
  • 评测运行的具体命令在 README 的 Evaluation 章节,本教程仅覆盖安装与端点配置部分。
  • 调用凭证等敏感信息建议通过本地配置文件或环境变量管理,不要提交到公开仓库。

核心亮点

  • 以强模型作裁判自动完成成对比较,省去人工投票成本
  • 提供固定题目集与评测脚本,结果可复现、便于横向对比
  • 支持批量接入多个模型 API,适合模型选型与版本迭代验证

不足之处

  • 评测质量高度依赖裁判模型本身,存在偏好偏差风险
  • 需要调用外部模型 API,大规模评测有成本与速率限制
  • 题目集覆盖面有限,对特定领域能力评估不够细

适用场景

  • 模型选型时快速对比多个开源与闭源模型表现
  • 微调或提示词优化后验证效果是否提升
  • 论文或技术报告中生成可复现的模型对比数据

替代项目

lm-evaluation-harness、FastChat、OpenCompass

同类项目推荐

TravelPlanner 开源

测测你的AI会不会做旅行攻略,一测便知规划能力

[ICML'24 Spotlight] "TravelPlanner: A Benchmark for Real-World Planning with Languag···

★ 573 2026-08-09
Tracekit 开源

给 AI Agent 装行车记录仪,每步可查、篡改可发现

Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···

★ 726 2026-10-21
pi-guardrails 开源

给 AI 代理装刹车,危险命令和环境文件先拦下

Security hooks for Pi. Prevents dangerous operations, protects env files, gates dest···

★ 311 2026-09-16
DiffusionGeometry 开源

论文扩散几何方法的可运行复现实验代码

The code for "Computing Diffusion Geometry" (2026).

★ 125 2026-10-29
optimum-benchmark 开源

一键横评多后端推理性能,选型不靠猜

️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffus···

★ 341 2026-09-18
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2625 2026-10-10
phi-boundary-gate 开源

给医疗 AI 加一道 PHI 闸门,该拦的拦、该脱敏的脱敏

Detect, gate, redact, and report PHI candidate flows across healthcare and insurance···

★ 204 2026-10-12
superbenchmark 开源

一键体检 AI 集群,跑分定位硬件瓶颈

A validation and profiling tool for AI infrastructure

★ 401 2026-09-28