autoarena

自动两两PK，快速选出最优LLM或RAG配置

autoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。它通过自动化的两两对比（head-to-head）方式，让用户无需人工参与即可对不同的模型、检索增强生成系统或提示词配置进行公平的竞技场式评估。该工具主要解决传统人工评测成本高、速度慢、主观性强的问题，提供了一套可重复、可量化的自动化评估流程。其核心能力包括：自动化生成评测任务、执行两两对比、收集结果并生成排名，帮助开发者快速筛选出最适合其应用场景的模型或配置。项目基于 TypeScript 开发，目前处于早期阶段，适合需要持续优化 LLM 应用性能的团队使用。

开源 free 搜索知识

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 108

维护状态低维护

是否开源是

定价模式 free

项目数据

分类搜索知识

开发团队kolenaIO

所属国家

官网地址https://www.kolena.com/autoarena

GitHubhttps://github.com/kolenaIO/autoarena

定价模式free

价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。

访问状态

是否开源是

开源协议Apache-2.0

主要语言TypeScript

技术栈/模型ai,evaluation,hacktoberfest,llm,llm-evaluation,rag,testing

GitHub 星标★ 108

30天Star增速

HF 下载量

上线时间2024-08-28 00:00:00

最近更新2026-03-17 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数1

使用教程

核心亮点

自动化两两对比，减少人工评测成本，提升评估效率
支持LLM、RAG系统、提示词多种对象评估，适用面广
提供量化排名，帮助开发者做出数据驱动的选型决策

不足之处

项目早期，文档和社区生态待观察
评估结果可能受评测集设计影响，需自行构建高质量测试集

适用场景

在多个候选LLM中选择最适合业务场景的模型
优化RAG系统时对比不同检索策略或嵌入模型的效果
迭代提示词时快速验证不同prompt的优劣

替代项目

LMSYS Chatbot Arena、OpenAI Evals、Ragas

项目介绍

autoarena 是评测安全领域的开源项目，由 kolenaIO 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 108。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-03-17。Apache-2.0 许可证，可免费使用和部署。

它主要面向的使用场景是：在多个候选LLM中选择最适合业务场景的模型。同类可对比的替代方案包括 LMSYS Chatbot Arena、OpenAI Evals、Ragas。

上一篇：hallucination-index

下一篇：VibeSearchBench