项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 138
核心亮点
- 定义统一元数据 schema，让不同评测框架的结果可以对齐比较
- 支持排行榜抓取、论文数据和本地评测多种来源，覆盖面广
- 众包数据库模式，社区可持续贡献并积累公共评测档案
不足之处
- 项目处于早期，星标仅 112，生态和采用度有待观察
- 众包数据的质量与一致性依赖社区维护，缺少强校验机制说明
适用场景
- 评测平台汇总多个榜单结果做横向对比
- 研究者在论文中发布可复现的评测元数据
- 模型团队统一记录本地评测运行结果以便追踪
替代项目
HELM、lm-evaluation-harness
上一篇：evalstats
下一篇：benchmark-radar
同类项目推荐
TrustLLM
开源
给大模型做全面体检，量化可信度短板
[ICML 2024] TrustLLM: LLM trustworthiness evaluation across truthfulness, safety, fa···
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
Awesome-LLM-Uncertainty-Reliabil···
开源
一页看懂LLM可靠性研究全景，找论文、查基准、避幻觉坑
Awesome-LLM-Robustness: a curated list of Uncertainty, Reliability and Robustness in···
MixEval
开源
动态更新评测数据，让模型分数不再虚高
The official evaluation suite and dynamic data release for MixEval.
Semia
开源
装 AI 技能前先扫一遍，把危险命令挡在门外
Semia, security audit for AI agent skills.
ai-jailbreaks
开源
现成越狱提示词库，快速测模型安全边界
AI jailbreaks: 35 paste-ready AI jailbreak prompts for 25+ frontier and open-weight ···
Awesome-Offensive-AI-Agentic-Lan···
开源
一张图看懂 AI 攻防：渗透、红队、漏洞发现全收录
This document curates open-source projects, academic papers, capability benchmarks, ···
VelLMes-AI-Deception-Framework
开源
用AI伪装成AI，让攻击者自投罗网
Interactive, dynamic, and realistic LLM honeypots
damn-vulnerable-ai-agent
开源
故意留洞的 AI Agent 靶场，拿来练提示注入和越权
Damn Vulnerable AI Agent is a deliberately vulnerable AI agent platform for security···