RouterArena

统一基准评测 LLM 路由器,跑分上榜选型不踩坑

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 70 🐛 待处理 33 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 159
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费框架,无付费服务

项目预览

RouterArena 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队RouteWorks
定价模式🏷️完全免费
价格说明开源免费框架,无付费服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型arena,llm,llm-router,llm-routing,multi-agent,multi-agent-systems,router-benchmark,router-evaluation,router-leaderboard,routing
GitHub 星标★ 159
上线时间2025-10-05 00:00:00
代码更新2026-11-16
仓库体积223.9 MB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-10-07
浏览次数4

项目介绍

RouterArena 是一个面向 LLM 路由器的开源评测框架,解决当前路由方案各自为战、缺乏统一比较标准的问题。它提供标准化数据集、统一评测指标、自动化评测流程以及实时排行榜,让开发者能在同一基准下对比不同路由器的效果。核心能力包括:集成多种公开数据集与查询类型,定义准确率、成本、延迟等指标,自动跑通路由调用与结果统计,并把结果同步到在线榜单。对于研究多模型调度、成本优化、多智能体协作的团队,它把零散的评测脚本沉淀为可复现的公共基准,降低横向对比门槛。项目用 Python 实现,适合作为路由算法选型、论文实验和产品落地的参考依据。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 159

核心亮点

  • 提供标准化数据集与统一指标,路由器之间可横向对比
  • 自动化评测流程,减少手工跑实验和统计结果的重复劳动
  • 带实时排行榜,结果公开可复现,便于跟踪社区进展

不足之处

  • 项目处于早期,数据集和评测维度的覆盖范围可能有限
  • 文档与社区生态尚在建设中,接入自定义路由器需要一定摸索

适用场景

  • 研究团队对比不同 LLM 路由算法的效果与成本
  • 企业在多模型 API 之间做路由选型时参考公开榜单
  • 论文或技术报告需要可复现的路由评测基准

替代项目

RouteLLM、LiteLLM

上一篇:overmind

下一篇:augustus

同类项目推荐

chatbot-experiments 开源

收集 AI 越狱提示词,探索聊天机器人边界

A place to store jailbreaks, results of some prompts, or helpful utilities

★ 128 2026-08-09
uptrain 开源

给 LLM 应用打分找茬,快速定位并修复质量问题。

UpTrain is an open-source unified platform to evaluate and improve Generative AI app···

★ 2366 2026-08-09
Prompt-Vault 开源

现成的编程提示词测试集,拿来就能给代码模型跑分

A collection of coding prompts and detailed project specifications designed for benc···

★ 367 2026-11-21
empirical 开源

用数据说话,系统化测试评估你的 LLM 应用

Test and evaluate LLMs and model configurations, across all the scenarios that matte···

★ 166 2026-08-09
LiveBench 开源

每月换新题,测出模型真实水平

LiveBench: A Challenging, Contamination-Free LLM Benchmark

★ 1355 2026-09-16
trustmebro 开源

伪造工具输出,测出模型护栏会不会被骗

Bypass llm guardrails by confusing it with fabricated tool output.

★ 609 2026-09-16
InfiniteBench 开源

测出大模型在10万字长文本下的真实水平

Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···

★ 394 2026-08-09
dsh-jailbreak 开源

给 DSH 加可审计的提示改写层,量化拒答边界

dsh jailbreak - DeepSeek Assistant 破甲插件(DSH 破甲 / 越狱 / 破甲提示词):请求边界···

★ 285 2026-11-18
ADR 开源

给企业 AI 智能体装上安全监控与威胁拦截系统

ADR secures enterprise AI agents through observability, security benchmarking, and t···

★ 2142 2026-08-09