Video-MME
测一测你的多模态模型，视频理解能力到底行不行
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 802
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.9+
- 模型输出的标准结果文件
安装与启动步骤
-
1克隆数据与代码
视频多模态评测基准，含评测脚本与题目。
git clone https://github.com/MME-Benchmarks/Video-MME.git cd Video-MME -
2装依赖
评测脚本依赖较轻，主要是 openai 与 pandas。
pip install -r requirements.txt -
3准备模型输出
基准要求模型先按格式答题，产出 json。
python eval_your_results.py --results your_output.json -
4算分
脚本会给出总准确率与分类型准确率。
python eval_your_results.py --results your_output.json --verbose
如何确认成功
终端打印各子类准确率，总分为加权平均。
注意事项
- 它同时适用于图像多模态与视频多模态模型，可跨类比较。
- 答案格式错一个字符就会被判错，先小样本对齐格式。
核心亮点
- 首个综合视频多模态评测基准，覆盖长/短视频、多镜头等多样场景
- 任务设计细粒度，支持时序、空间、事件等多维度能力评估
- 提供标准化评分机制，便于模型间横向对比与复现
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善
- 基准更新频率和后续维护情况待观察
适用场景
- 多模态模型研发团队评估自家视频理解能力
- 学术界对比不同模型的视频分析性能
- 工业界选型视频理解模型时参考评测结果
替代项目
Video-Bench、EgoSchema、MSVD-QA
同类项目推荐
hallucination-leaderboard
开源
看哪个大模型摘要最不容易瞎编
Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing S···
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
ollama-grid-search
开源
本地 Ollama 模型批量跑评测，网格对比一键出结果
A multi-platform desktop application to evaluate and compare LLM models, written in ···
getIPIntel
开源
一个 API 查 IP，拦代理、VPN、TOR 和恶意流量
IP Intelligence is a free Proxy VPN TOR and Bad IP detection tool to prevent Fraud, ···
InfiniteBench
开源
测出大模型在10万字长文本下的真实水平
Codes for the paper "∞Bench: Extending Long Context Evaluation Beyond 100K Tokens":···
ClassEval
开源
测大模型写类的能力，比单函数更接近真实编程
Benchmark ClassEval for class-level code generation.
unitxt
开源
一站式搭建可复现的 AI 评估流水线，告别零散脚本。
Unitxt is a Python library for enterprise-grade evaluation of AI performance, offeri···
openbench
开源
同一模型，不同封装，一测便知谁更省更快更准。
Same model, different wrapper: a from-scratch benchmark comparing coding-agent harne···
xVerify
开源
快速验证推理模型答案，让评估更省钱省时。
xVerify: Efficient Answer Verifier for Reasoning Model Evaluations