bench
跑个分，就知道哪个大模型更适合你
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 428
使用教程
环境要求
- Python 3.10+
- 至少一个模型 API Key
安装与启动步骤
-
1装带界面的版本
带 server 额外依赖，能本地看报告。
pip install 'arthur-bench[server]' -
2建一个测试集
用几行代码定义输入与评分方式。
-
3跑一个模型拿分
先跑一个，确认评分链路通。
-
4换第二个模型对比
同一测试集上比，才有意义。
如何确认成功
两个模型在同一测试集上跑出的分数有明显差异，且点开单条能看到输入、输出与打分理由
注意事项
- 它把大模型评测做成可复用的测试集，重点是可比性而不是跑分排名。
- 评分可以走模型裁判也可以走规则，裁判模型有偏好，结论要看多条。
- 测试集样本太少时分数波动很大，别用它做小数点后的比较。
- 闭源模型的版本会静默更新，同一个月内两次结果也可能不同。
- 它基于 Python 而不是 TypeScript，装包名是 arthur-bench。
核心亮点
- 提供标准化的评估流程，减少人工测试的随意性
- 基于 TypeScript，易于集成到现有 JS/TS 开发栈
- 支持对比不同模型输出，辅助选型决策
不足之处
- 项目处于早期阶段，功能可能不完整
- 文档/社区待观察
适用场景
- 在多个 LLM 之间做技术选型时进行量化对比
- 在模型微调或提示词优化后，快速回归验证效果
- 在 CI/CD 流程中自动执行模型质量门禁
替代项目
lm-evaluation-harness、promptfoo、DeepEval
上一篇：frouros
下一篇：watchtower
同类项目推荐
Awesome-LM-SSP
开源
一网打尽大模型安全、隐私攻防的精华资料，快速跟上前沿。
A reading list for large models safety, security, and privacy (including Awesome LLM···
ChronoMagic-Bench
开源
测文生视频的时间演化能力，让模型从动起来到变起来
[NeurIPS 2024 D&B Spotlight] ChronoMagic-Bench: A Benchmark for Metamorphic Evaluati···
llmspeed
开源
买显卡前先跑分，本地大模型速度一目了然
Feel how fast a local LLM runs before you buy the hardware
eva
开源
给肿瘤AI模型打分，让对比评测不再抓瞎
Evaluation framework for oncology foundation models (FMs)
agentgg
开源
百个AI安全智能体，扫仓库和PR，自动挖漏洞
Open source agentic SAST. The engine behind hundreds of disclosed zero-days. 100+ AI···
MGDebugger
开源
像调试传统代码一样调试大模型，快速定位推理错误根因。
Multi-Granularity LLM Debugger [ICSE2026]
MMAD
开源
用统一基准测出多模态大模型在工业质检中的真实水平
The Codes and Data of A Comprehensive Benchmark for Multimodal Large Language Models···
lintlang
开源
上线前扫一遍，AI 智能体配置不踩坑
Static analysis for AI agent configs, tool descriptions, and system prompts — catch···
autoarena
开源
自动两两PK，快速选出最优LLM或RAG配置
Rank LLMs, RAG systems, and prompts using automated head-to-head evaluation