MMStar

更公平地测出大模型真实视觉能力，避免作弊分

MMStar 是一个用于评估大型视觉语言模型（LVLMs）的基准测试工具，源自 NeurIPS 2024 论文。它解决了现有评估基准中模型可能通过语言先验或训练数据泄露而获得虚高分数的问题，通过精心筛选的样本，确保每个测试样本都需要真正的视觉感知与推理能力。其核心能力包括：提供多模态选择题集，覆盖感知、知识、推理等多个维度；内置自动评估脚本，支持主流开源模型（如 LLaVA、Qwen-VL 等）的快速评测；提供详细的分类性能报告，帮助研究者定位模型短板。该工具旨在为社区提供更可靠、更公平的 LVLM 能力评估标准。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 217

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队MMStar-Benchmark

所属国家

官网地址https://mmstar-benchmark.github.io

GitHubhttps://github.com/MMStar-Benchmark/MMStar

定价模式free

价格说明开源评估代码，完全免费，无付费版本。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型evaluation,large-language-models,large-multimodal-models,large-vision-language-model,large-vision-language-models,llm,llms,lvlm,lvlms,multimodal,multimodal-learning,multimodality,visual-question-answering

GitHub 星标★ 217

30天Star增速

HF 下载量

上线时间2024-03-29 00:00:00

最近更新2026-09-06 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

样本经人工筛选，剔除仅凭语言先验即可答对的题目，评估更可信
覆盖感知、知识、推理等12个子任务，能输出细粒度能力雷达图
提供一键评估脚本，支持HuggingFace模型快速接入，上手成本低

不足之处

当前仅支持选择题形式，无法评估生成式视觉任务（如图文对话）
文档/社区待观察

适用场景

对比不同LVLM的视觉推理能力，用于模型选型
在模型迭代中定位具体能力短板（如空间关系、图表理解）
学术研究中作为基准，验证新方法的有效性

替代项目

MMBench、SEED-Bench、MM-Vet

项目介绍

MMStar 是评测安全领域的开源项目，由 MMStar-Benchmark 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 217。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-06。开源评估代码，完全免费，无付费版本。

它主要面向的使用场景是：对比不同LVLM的视觉推理能力，用于模型选型。同类可对比的替代方案包括 MMBench、SEED-Bench、MM-Vet。

上一篇：RWKU

下一篇：InfiniteBench