autoarena

自动两两PK，快速选出最优LLM或RAG配置

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 搜索知识 🍴 复刻 9 🐛 待处理 4 👀 关注 6
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 108
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可免费使用和部署。

项目预览

autoarena 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类搜索知识
开发团队kolenaIO
官网地址https://www.kolena.com/autoarena
GitHubhttps://github.com/kolenaIO/autoarena
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可免费使用和部署。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言TypeScript
技术栈/模型ai,evaluation,hacktoberfest,llm,llm-evaluation,rag,testing
GitHub 星标★ 108
上线时间2024-08-28 00:00:00
代码更新2024-12-16
仓库体积2.6 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

autoarena 是一个用于自动化评估和排名大语言模型（LLM）、RAG 系统及提示词（prompt）的开源工具。它通过自动化的两两对比（head-to-head）方式，让用户无需人工参与即可对不同的模型、检索增强生成系统或提示词配置进行公平的竞技场式评估。该工具主要解决传统人工评测成本高、速度慢、主观性强的问题，提供了一套可重复、可量化的自动化评估流程。其核心能力包括：自动化生成评测任务、执行两两对比、收集结果并生成排名，帮助开发者快速筛选出最适合其应用场景的模型或配置。项目基于 TypeScript 开发，目前处于早期阶段，适合需要持续优化 LLM 应用性能的团队使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 108

核心亮点

  • 自动化两两对比，减少人工评测成本，提升评估效率
  • 支持LLM、RAG系统、提示词多种对象评估，适用面广
  • 提供量化排名，帮助开发者做出数据驱动的选型决策

不足之处

  • 项目早期，文档和社区生态待观察
  • 评估结果可能受评测集设计影响，需自行构建高质量测试集

适用场景

  • 在多个候选LLM中选择最适合业务场景的模型
  • 优化RAG系统时对比不同检索策略或嵌入模型的效果
  • 迭代提示词时快速验证不同prompt的优劣

替代项目

LMSYS Chatbot Arena、OpenAI Evals、Ragas

上一篇：hallucination-index

下一篇：VibeSearchBench

同类项目推荐

sim-evals 开源

把机器人策略丢进仿真跑分，省下真机评测的麻烦

A simulation evaluation platform for DROID

★ 243 2026-09-14
damn-vulnerable-ai-agent 开源

故意留洞的 AI Agent 靶场，拿来练提示注入和越权

Damn Vulnerable AI Agent is a deliberately vulnerable AI agent platform for security···

★ 148 2026-09-22
future-agi 开源

一站式评估、观测和优化你的 AI 智能体，提升可靠性和安全性。

Open-source, end-to-end platform for evaluating, observing, and improving LLM and AI···

★ 2257 2026-08-09
CUREBench 开源

给AI看病决策打分，推动医疗AI更靠谱

CUREBench @ NeurIPS 2025: Benchmarking AI reasoning for therapeutic decision-making ···

★ 136 2026-08-09
OpenART 开源

万级场景压测 AI Agent，提前揪出越权与投毒风险

OpenART is an open-source framework designed to evaluate the safety and robustness o···

★ 274 2026-10-10
primitive-bench 开源

声明任务先定价，AI 干完验证，不成退款

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront,···

★ 122 2026-09-30
genai-bench 开源

token 级压测 LLM 服务，选型调优有据可依

Genai-bench is a powerful benchmark tool designed for comprehensive token-level perf···

★ 335 2026-10-23
SREGym 开源

用真实生产事故考题，测出 AI Agent 会不会排障

Can AI agents resolve production incidents?

★ 404 2026-09-12
leva 开源

用线上真实数据回放评测，让 Rails 的 LLM 改动不再靠拍脑袋

LLM Evaluation Framework for Rails apps to be used with production data.

★ 148 2026-09-25