项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-15 · 当前星标 ★ 525
核心亮点
- 系统梳理多模态大模型评测的基准、任务与指标，形成清晰分类体系
- 覆盖评测偏差、数据污染、可复现性等关键问题，不止罗列榜单
- 作为论文官方仓库，文献索引与基准汇总便于按图索骥做选型
不足之处
- 以综述与资料整理为主，缺少可直接运行的评测代码或工具链
- 早期项目，内容更新与社区维护节奏有待观察
适用场景
- 研究团队调研多模态评测方向、确定论文选题
- 算法团队为图文理解能力挑选评测基准与指标
- 技术管理者快速了解多模态模型评测的整体格局
替代项目
MMBench、OpenCompass、VLMEvalKit
下一篇：没有了！
同类项目推荐
MGDebugger
开源
像调试传统代码一样调试大模型，快速定位推理错误根因。
Multi-Granularity LLM Debugger [ICSE2026]
BEAM
开源
百万级上下文下，科学评测并增强大模型长期记忆
[ICLR 2026] Beyond a Million Tokens: Benchmarking and Enhancing Long-Term Memory in ···
ps-fuzz
开源
自动模糊测试系统提示词，找出越狱漏洞并加固
Make your GenAI Apps Safe & Secure :rocket: Test & harden your system prompt
JailbreakHub
开源
大模型安全测试提示词合集，红队评测随手取用
A Hub/research area, for jailbreaking LLM's, and breaking their safety filters.
PatchEval
开源
用真实漏洞测大模型修 bug 的真本事
PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···
tonic_validate
开源
给RAG应用打分，量化回答质量，快速定位问题
Metrics to evaluate the quality of responses of your Retrieval Augmented Generation ···
Eval
开源
并行跑 LLM 评测，速度提升最高 17 倍
High-performance LLM evaluation framework with parallel API calls — up to 17× fast···
heretic
开源
一键去除模型审查，解锁无限制回答
Training-free language model modification: Remove censorship, suppress slop, reduce ···
skill-validator
开源
一条命令检查 Agent Skill 写得对不对、够不够扎实
Validate Skill content against Agent Skill specification, with additional content de···