项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 368
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- GPU（大模型权重）
- HF 数据集访问
安装与启动步骤
-
1装评测框架
它基于 VLMEvalKit，先把这个装好
git clone https://github.com/open-compass/VLMEvalKit.git && cd VLMEvalKit -
2装依赖
视频解码要 decord，别漏
pip install torch transformers accelerate decord pandas numpy pillow tqdm -
3下数据集
数据集在 Hugging Face，注意许可与体积
-
4跑一种设置
先跑 64 帧无字幕设置，再逐步加字幕与推理链
python run.py --model Qwen3-VL-8B-Instruct --data Video-MME-v2_64frame
如何确认成功
评测脚本跑完输出准确率表格，与论文里同模型同设置的数字接近。
注意事项
- 视频理解评测基准，重点在长视频与多模态推理，不是训练代码。
- 四种设置（帧数、字幕、交错、推理链）分数差异明显，横向比较必须对齐设置。
- 数据集与模型权重都很大，完整评测要几十 G 磁盘。
- decord 在新系统上编译常出问题，可以换 torchvision 或 pyav。
- 基准分数高不代表产品好用，真实场景的镜头切换与噪声更复杂。
核心亮点
- 评测维度覆盖全面，从短到长视频、多模态联合理解，能精准暴露模型短板。
- 提供标准化评估脚本和协议，模型对比结果可复现，省去自建评测流程。
- 数据集设计贴近真实应用场景（如监控、影视、教育），实用性强。
不足之处
- 项目处于早期阶段，文档和社区支持尚待完善。
- 数据集规模可能有限，对超长视频（如1小时以上）的覆盖有待验证。
适用场景
- 学术研究：对比不同视频理解模型在统一基准上的性能。
- 模型开发：定位自家模型在时序推理、多模态融合等维度的不足。
- 技术选型：企业评估候选视频理解模型时，作为客观参考依据。
替代项目
Video-MME、LVBench、Video-Bench
上一篇：LooGLE
下一篇：fusion_bench
同类项目推荐
LLMEvaluation
开源
选对 LLM 评测方法，少走弯路
A comprehensive guide to LLM evaluation methods designed to assist in identifying th···
InjectRange
开源
用固定语料对比严格/宽松防护，量化提示注入漏检
Guard harness for prompt-injection corpora - six breach classes, corpus pinning and ···
text2image-benchmark
开源
一键跑分，量化你的文生图模型实力
Benchmark for generative image models
jevals
开源
每条 trace 一次请求，几分钱延迟低到能进 Agent 循环
Agent evals and guardrails as Jev decisions: one request per trace, a fraction of a ···
AgentGuard
开源
给 AI Agent 装上零信任安全闸门，防越权、防泄露
AgentGuard: Zero-Trust Security Foundation for AI Agents
Awesome-Video-Reasoning
开源
视频生成推理论文一站速查，快速摸清研究地图
This is a collection of recent papers on reasoning in video generation models.
Awesome-LLM-Eval
开源
一站式找全 LLM 评测资源，快速选型不踩坑
Awesome-LLM-Eval: a curated list of tools, datasets/benchmark, demos, leaderboard, p···
NISQA
开源
无参考也能给语音质量打分，TTS自然度一测便知
NISQA - Non-Intrusive Speech Quality and TTS Naturalness Assessment
prometheus-eval
开源
用 Prometheus 或 GPT-4 自动给 LLM 回复打分，快速筛选最佳模型。
Evaluate your LLM's response with Prometheus and GPT4