项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-05 · 当前星标 ★ 102
核心亮点
- 复用 Inspect AI 生态，已有评测任务可迁移到云端执行
- 基于 AWS 资源，便于按需扩展并发评测规模
- 聚焦评测场景，适合模型对比和基准回归的自动化流程
不足之处
- 早期项目，文档和社区生态尚不完善
- 依赖 AWS 环境，本地或非云环境使用门槛较高
适用场景
- 团队定期对多个大模型跑基准评测并对比结果
- CI 流程中自动触发 Inspect AI 评测做回归检查
- 需要大规模并行评测时临时扩展云端算力
替代项目
Inspect AI、lm-evaluation-harness、OpenAI Evals
上一篇：evals
下一篇：FeatureBench
同类项目推荐
LooGLE
开源
测长文本模型真实力，看它能否抓住长文关键
ACL 2024 | LooGLE: Long Context Evaluation for Long-Context Language Models
langfair
开源
给LLM做公平性体检，防偏见翻车
LangFair is a Python library for conducting use-case level LLM bias and fairness ass···
ClassEval
开源
测大模型写类的能力，比单函数更接近真实编程
Benchmark ClassEval for class-level code generation.
Awesome-LMMs-Mechanistic-Interpr···
开源
一站式读懂多模态模型内部工作原理
A curated collection of resources focused on the Mechanistic Interpretability (MI) o···
FDAbench
开源
给数据智能体打分，看谁更会分析异构数据
[KDD’26] Official repository for the paper “FDABench: A Benchmark for Data Agents ···
NOIR
开源
用 adb 给手机做隐私体检，看清 App 上报了什么
手机隐私审计：用 adb 扫出 Android 应用的权限、上报端点与数据流向，并给出可回滚的处置···
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
LLM-KG-Bench
开源
一键评测大模型在知识图谱任务上的表现
LLM-KG-Bench is a Framework and task collection for automated benchmarking of Large ···
claw-swe-bench
开源
统一接口跑 SWE-bench，横向比出哪个 agent 框架更能修 bug
Unified adapter framework for evaluating agent harnesses (claws) on SWE-bench