
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-19 · 当前星标 ★ 617
核心亮点
- 内置多类评测基准与任务模板,开箱即可跑分
- 把数据加载、推理、答案抽取、指标计算串成自动化流水线,减少手工操作
- 提供 HTML 可视化报告,便于横向对比不同模型和任务得分
不足之处
- 项目处于早期,文档与评测基准覆盖度仍在完善
- 以 HTML 为主,工程化集成与二次开发便利性有待观察
适用场景
- 模型选型时横向对比多个大模型的基准得分
- 微调前后做回归评测,验证能力是否退化
- 模型版本迭代时批量跑评测并生成报告
替代项目
lm-evaluation-harness、OpenCompass、HELM
上一篇:cybergym-e2e
下一篇:g-harness-evals
同类项目推荐
AISafetyHot-Hub
开源
每天一份 AI 安全论文清单,md/bib/json 直接喂给 Agent
AI Safety HOT: daily AI safety news, papers and incidents in one place — jailbreaks···
awesome-RLHF
开源
一份清单,从入门到进阶搞定 RLHF 全部资源
A curated list of reinforcement learning with human feedback resources (continually ···
OpenAPPA
开源
给 AI Agent 加确定性护栏,安全不打断任务
Deterministic guardrails that don't break agents
Video-MME
开源
测一测你的多模态模型,视频理解能力到底行不行
✨✨[CVPR 2025] Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Mult···
exploitgym
开源
用真实漏洞测 AI 能不能写出能跑的利用代码
ExploitGym is a large-scale, realistic benchmark built from real-world vulnerabiliti···
JailbreakHub
开源
大模型安全测试提示词合集,红队评测随手取用
A Hub/research area, for jailbreaking LLM's, and breaking their safety filters.
stable-audio-metrics
开源
给音乐生成模型打分的客观指标工具箱
Metrics for evaluating music and audio generative models – with a focus on long-for···
awesome-ai-leaderboard
开源
一榜在手,AI模型强弱全看透
A curated list of awesome leaderboard-oriented resources for AI domain
param
开源
参数化基准组合,一键测出训练推理平台真实性能
PArametrized Recommendation and Ai Model benchmark is a repository for development o···