项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 117
技术标签
核心亮点
- 并行 API 调用，显著缩短大规模评测集的总耗时
- 同时支持 box、math、logit 三类评测，覆盖问答与数学推理
- 纯 Python 实现，接入现有评测流程成本低
不足之处
- 项目处于早期，星标仅 110，生态与文档成熟度有待观察
- 并行调用对 API 限流和成本控制提出更高要求，缺少明确说明
适用场景
- 快速对比多个 prompt 或模型版本的评测得分
- 批量跑数学推理基准并自动判分
- 在微调迭代中频繁执行回归评测
替代项目
lm-evaluation-harness、OpenCompass
同类项目推荐
inspect_ai
开源
统一跑大模型评测，结果可复现可回放
Inspect: A framework for large language model evaluations
awesome-typesafe-jev
开源
一页看全 System One 的 SDK、演示与评测
Awesome Jev: a source-backed field guide to TypeSafe's System One model, with SDKs, ···
prompttools
开源
一键对比测试提示词，选对模型和参数不再靠猜
Open-source tools for prompt testing and experimentation, with support for both LLMs···
PatchEval
开源
用真实漏洞测大模型修 bug 的真本事
PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···
iFixAi
开源
120秒快速审计AI Agent，确保它按预期干活
Independent Auditing of AI Agents. Run by human or the agent itself, to answer the m···
ai-llm-comparison
开源
并排对比所有AI模型，快速选出最适合你的那个
A website where you can compare every AI Model ✨
Oversight
开源
模块化拆解 LLM，自动红队测试，发现漏洞
A Completely Modular LLM Reverse Engineering, Red Teaming, and Vulnerability Researc···
benchmark-radar
开源
一站追踪全球 AI 评测基准，每日更新可溯源
Track 42,331+ AI benchmark, eval, dataset, and data-quality records from 40 public s···
Synthid-Bypass
开源
实测绕过 Google SynthID 水印，AI 图像溯源攻防参考
Ai safety research showing a working bypass to Google's synthid on Nano Banana Pro