MMMU

用大学级多模态考题，测出 AI 的真实专家水平

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 57 🐛 待处理 50 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 600
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源评估代码，完全免费，无付费版本。

项目预览

MMMU 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队MMMU-Benchmark
官网地址https://mmmu-benchmark.github.io
GitHubhttps://github.com/MMMU-Benchmark/MMMU
定价模式🏷️完全免费
价格说明开源评估代码，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型computer-vision,deep-learning,deep-neural-networks,evaluation,foundation-models,large-language-models,large-multimodal-models,llm,llms,machine-learning,multimodal,multimodal-deep-learning,multimodal-learning,multimodality,natural-language-processing,question-answering,stem,visual-question-answering
GitHub 星标★ 600
上线时间2023-11-23 00:00:00
代码更新2026-07-28
仓库体积190.5 MB
本站数据更新2026-11-07
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

MMMU 是一个大规模多学科多模态理解与推理基准测试集，旨在评估和推动 AI 模型在专家级通用人工智能（AGI）方向上的能力。它包含来自艺术、工程、科学等六大领域的海量大学水平问题，每个问题均配有图像和文本，要求模型进行跨模态的深度理解与推理。该项目提供完整的评估代码，支持对主流多模态大模型（如 GPT-4V、LLaVA 等）进行标准化测试，并输出细粒度的学科能力报告。核心价值在于为研究者提供一套严格、可复现的评测工具，帮助识别模型在专业学科上的短板，从而引导模型向专家级推理能力进化。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 600

使用教程

难度：高级 约 60 分钟 部署方式：本地安装 5 步

环境要求

  • Python 3.9+
  • 模型服务凭据
  • 评测数据

安装与启动步骤

  1. 1克隆装依赖

    评测代码，按仓库给的依赖装。

  2. 2下数据

    题目与配图在外部存储，按说明拉。

  3. 3接你的模型

    按它的接口把模型包一层，输出格式必须对齐。

  4. 4先跑一个学科

    挑一个学科跑通，全量运行成本很高。

  5. 5看分学科结果

    总分掩盖差异，拆开看才知道弱在哪。

如何确认成功

自己的模型能跑出与公开榜单同口径的分数，且能指出具体哪类学科失分最多

注意事项

  • 它评的是多学科多模态理解与推理，不是通用问答。
  • 输出格式解析失败会被判错，接之前先对齐格式。
  • 部分题目需要图像推理，纯文本模型必然低分。
  • 公开榜单的数字会随版本更新，比较时注明时点。

核心亮点

  • 覆盖六大专业领域，题目源自真实大学考试，难度高且贴近实际应用
  • 提供标准化评估脚本，支持多模型对比，结果可复现性强
  • 细粒度学科报告，能精准定位模型在特定学科上的能力短板

不足之处

  • 项目仅提供评估代码，不包含训练数据或模型，需自行准备模型权重
  • 文档和社区支持尚不完善，新手上手可能有一定门槛

适用场景

  • 多模态大模型研发团队进行模型能力横向评测
  • 学术机构用于研究 AI 在专业学科上的推理边界
  • 企业选型多模态模型时，作为专业场景的验证工具

替代项目

MMBench、SEED-Bench、MM-Vet

上一篇：langtest

下一篇：MathVista

同类项目推荐

XRAG 开源

给 RAG 系统做全面体检，量化每个核心模块的真实实力

XRAG: eXamining the Core - Benchmarking Foundational Component Modules in Advanced R···

★ 610 2026-08-09
Tracekit 开源

给 AI Agent 装行车记录仪，每步可查、篡改可发现

Tamper-evident tracing, policy gates and cross-checks for AI agents: see what the ag···

★ 501 2026-10-21
rizzo-pii 开源

本地脱敏文档，再放心喂给 LLM

Local-first privacy guard: anonymize your documents before sharing with LLMs.

★ 1250 2026-09-28
vistorybench 开源

给AI故事配图能力打分，让模型叙事更连贯

[CVPR 2026] ViStoryBench: AI Story Visualization Benchmark

★ 173 2026-08-09
datafog-python 开源

给 AI 应用装个本地隐私闸门，敏感信息不出门。

Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···

★ 80 2026-08-09
UltraEval-Audio 开源

一站式音频模型评测，快速对比知己知彼

Your faithful, impartial partner for audio evaluation — know yourself, know your ri···

★ 328 2026-08-09
LLMeBench 开源

一键跑分，快速对比各大语言模型效果

Benchmarking Large Language Models

★ 108 2026-08-09
AgentMark 开源

给AI智能体行为打上隐形水印，防止被盗用

【ACL 2026 Main】AgentMark: Utility-Preserving Behavioral Watermarking for Agents

★ 100 2026-08-09
Gym 开源

把模型丢进环境里跑，边评测边改进智能体

Evaluate and improve models and agents using environments

★ 1322 2026-09-16