
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 141
核心亮点
- 专注推理服务商横向对比,填补了模型评测之外的服务层评测空白
- TypeScript 实现,前端/Node 开发者容易上手和二次开发
- 轻量工具定位,适合快速跑基准而非重型评测平台
不足之处
- 早期项目,评测集和 provider 覆盖范围有限
- 文档和社区生态待观察
适用场景
- 选型阶段对比多家开源模型托管平台的实际输出质量
- 持续监控已接入推理服务商的响应稳定性和质量波动
- 团队内部建立推理服务准入的标准化评测流程
替代项目
lm-evaluation-harness、promptfoo
同类项目推荐
compute-eval
开源
用真实编译运行测大模型写 CUDA 代码行不行
Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···
Video-MME-v2
开源
评测视频大模型,从看懂片段到理解长视频全场景。
Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understan···
inseq
开源
一键透视生成模型,看透每个 token 的决策依据
Interpretability for sequence generation models
TrustEval-toolkit
开源
一键评估生成模型可信度,量化风险更安心
[ICLR'26, NAACL'25 Demo] Toolkit & Benchmark for evaluating the trustworthiness of g···
evals-skills
开源
让编码代理手把手帮你搭产品专属 AI 评测
Skills that guide AI coding agents to help you build product-specific AI evals.
Gym
开源
把模型丢进环境里跑,边评测边改进智能体
Evaluate and improve models and agents using environments
lmring
开源
自建 LLM 竞技场,让真实用户投票选出最强模型
Open-source, self-hostable LLM arena with model compare, voting, and leaderboards
Workspace-Bench
开源
在真实文件海洋中,检验智能体自我进化能力
Benchmark self-evolving Agent upon realistic large-scale file workspaces
ai-llm-comparison
开源
并排对比所有AI模型,快速选出最适合你的那个
A website where you can compare every AI Model ✨