测一测你的多模态模型，视频理解能力到底行不行
Video-MME 是首个专门用于评估多模态大语言模型（LLMs）在视频分析任务中表现的综合基准测试集，发表于 CVPR 2025。它旨在解决现有视频理解基准在覆盖面、任务多样性和评估维度上的不足，提供一套标准化、可复现的评测体系。该基准涵盖多种视频类型（如长视频、短视频、多镜头视频）和多个任务（如时序推理、空间理解、事件识别等），支持对模型在视频理解上的综合能力进行量化评估。核心能力包括：大规模视频数据集、细粒度任务标注、多维度评分机制，以及可扩展的评估框架。通过该基准，研究者可以客观比较不同多模态模型在视频理解上的优劣，推动视频理解技术的发展。
Video-Bench、EgoSchema、MSVD-QA
Video-MME 是评测安全领域的开源项目，由 MME-Benchmarks 开发，2024 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（794）位列前 30%，在评测安全分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-23。开源评估基准项目，无在线服务，需自行部署使用，完全免费。
它主要面向的使用场景是：多模态模型研发团队评估自家视频理解能力。同类可对比的替代方案包括 Video-Bench、EgoSchema、MSVD-QA。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
