项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 218
核心亮点
- 样本经人工筛选，剔除仅凭语言先验即可答对的题目，评估更可信
- 覆盖感知、知识、推理等12个子任务，能输出细粒度能力雷达图
- 提供一键评估脚本，支持HuggingFace模型快速接入，上手成本低
不足之处
- 当前仅支持选择题形式，无法评估生成式视觉任务（如图文对话）
- 文档/社区待观察
适用场景
- 对比不同LVLM的视觉推理能力，用于模型选型
- 在模型迭代中定位具体能力短板（如空间关系、图表理解）
- 学术研究中作为基准，验证新方法的有效性
替代项目
MMBench、SEED-Bench、MM-Vet
上一篇：RWKU
下一篇：InfiniteBench
同类项目推荐
open-rag-eval
开源
免标注黄金答案，自动评估RAG检索与生成质量
RAG evaluation without the need for "golden answers"
terminal-bench-science
开源
让 AI 在终端里跑通真实科研任务并自动打分
Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific···
semantic-object-accuracy-for-gen···
开源
评估生成图像中对象是否画对了，给文本到图像模型打分。
Code for "Semantic Object Accuracy for Generative Text-to-Image Synthesis" (TPAMI 20···
Awesome-AIGC-Image-Video-Detecti···
开源
一页看全 AIGC 图像视频检测论文、数据集与基准
A curated collection of the latest research and resources on AI-Generated Image and ···
watchtower
开源
用 LLM 编排本地网站渗透测试，自动出报告
Watchtower - AI-powered penetration testing automation CLI tool that leverages LLMs ···
safelabs-eval
开源
给 AI 智能体做红队体检，上线前先找出被越狱和注入的漏洞
Red-teaming and evaluation framework for AI agents, built around an OWASP-inspired A···
OpenJudge
开源
给AI智能体当裁判，量化每一步质量，训练更靠谱的Agent。
OpenJudge: A Unified Framework for Holistic Evaluation and Quality Rewards
LLF-Bench
开源
让AI听懂人话反馈，越学越聪明
A benchmark for evaluating learning agents based on just language feedback
AwesomeLLM4APR
开源
一页看尽大模型修Bug研究全景，快速入门与选题
[TOSEM 2026]A Systematic Literature Review on Large Language Models for Automated Pr···