synbad

同一模型多家推理服务商,跑一轮评测看谁更靠谱

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 6 🐛 待处理 8 👀 关注 2
GitHub ↗
GitHub 星标 ★ 141
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费,无定价信息

项目预览

synbad 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队synthetic-lab
定价模式🏷️完全免费
价格说明开源免费,无定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言TypeScript
GitHub 星标★ 141
上线时间2025-11-26 00:00:00
代码更新2026-10-14
仓库体积2.3 MB
本站数据更新2026-11-21
维护状态维护中
收录时间2026-10-07
浏览次数4

项目介绍

synbad 是一个用 TypeScript 编写的 LLM 评测工具,专门用来测试开源推理服务商(inference providers)的实际表现。它解决的核心问题是:同一批开源模型在不同托管平台上,输出质量、响应速度、稳定性可能差异很大,开发者很难判断该选哪家。synbad 通过内置的评测集和统一调用接口,把多个推理服务商放在同一标准下对比,帮助用户发现哪家服务在特定任务上更可靠。项目定位偏轻量,适合在选型阶段快速跑一轮基准测试,也适合持续监控已接入服务商的质量波动。核心能力包括:统一的 provider 适配层、可配置的评测任务、结果对比输出。作为早期项目,它更偏向实用工具而非完整评测平台,适合开发者按需扩展自己的测试用例。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-07 · 当前星标 ★ 141

核心亮点

  • 专注推理服务商横向对比,填补了模型评测之外的服务层评测空白
  • TypeScript 实现,前端/Node 开发者容易上手和二次开发
  • 轻量工具定位,适合快速跑基准而非重型评测平台

不足之处

  • 早期项目,评测集和 provider 覆盖范围有限
  • 文档和社区生态待观察

适用场景

  • 选型阶段对比多家开源模型托管平台的实际输出质量
  • 持续监控已接入推理服务商的响应稳定性和质量波动
  • 团队内部建立推理服务准入的标准化评测流程

替代项目

lm-evaluation-harness、promptfoo

上一篇:augustus

下一篇:BotD

同类项目推荐

compute-eval 开源

用真实编译运行测大模型写 CUDA 代码行不行

Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···

★ 150 2026-09-24
Video-MME-v2 开源

评测视频大模型,从看懂片段到理解长视频全场景。

Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understan···

★ 368 2026-08-09
inseq 开源

一键透视生成模型,看透每个 token 的决策依据

Interpretability for sequence generation models

★ 477 2026-08-09
TrustEval-toolkit 开源

一键评估生成模型可信度,量化风险更安心

[ICLR'26, NAACL'25 Demo] Toolkit & Benchmark for evaluating the trustworthiness of g···

★ 136 2026-08-09
evals-skills 开源

让编码代理手把手帮你搭产品专属 AI 评测

Skills that guide AI coding agents to help you build product-specific AI evals.

★ 1826 2026-09-14
Gym 开源

把模型丢进环境里跑,边评测边改进智能体

Evaluate and improve models and agents using environments

★ 1346 2026-09-16
lmring 开源

自建 LLM 竞技场,让真实用户投票选出最强模型

Open-source, self-hostable LLM arena with model compare, voting, and leaderboards

★ 207 2026-08-09
Workspace-Bench 开源

在真实文件海洋中,检验智能体自我进化能力

Benchmark self-evolving Agent upon realistic large-scale file workspaces

★ 86 2026-08-09
ai-llm-comparison 开源

并排对比所有AI模型,快速选出最适合你的那个

A website where you can compare every AI Model ✨

★ 427 2026-08-09