一键评测 220+ 多模态模型，秒出对比报告
VLMEvalKit 是一个开源的大语言多模态模型（LMMs）评估工具包，旨在解决多模态模型评测标准不统一、评测流程繁琐的问题。它支持 220 多个主流 LMMs（如 GPT-4V、Gemini、LLaVA、Claude 等）和 80 多个公开基准测试，覆盖视觉问答、图像描述、OCR、视频理解等任务。核心能力包括：一键式模型接入与评测、统一的评测协议和提示词模板、支持多 GPU 并行加速、提供详细的评测结果报告与排行榜。工具采用模块化设计，用户可轻松扩展新模型或新基准，适合研究者和开发者快速对比模型性能，推动多模态领域发展。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆代码仓库
从 GitHub 拉取 VLMEvalKit 源码到本地，后续所有操作都在该目录内进行。
git clone https://github.com/open-compass/VLMEvalKit.git
cd VLMEvalKit2查阅官方快速开始
README 仅给出 QuickStart 链接，实际安装与依赖命令请以该文档为准，勿凭空猜测。
3按文档完成安装
依据 QuickStart 文档安装 vlmeval 包及其依赖；README 未列出具体安装命令，切勿自行编造。
4准备模型与数据集
按文档准备好待评测模型所需的密钥或本地权重，以及目标基准数据集。
5运行评测任务
使用文档中给出的评测入口执行一次评测，确认流程可正常跑通。
当前 README 节选未给出验证方法；请以官方 QuickStart 文档中的示例命令能否正常产出评测结果为判断依据。
Q：安装命令是什么？
A：本 README 节选未提供任何安装命令，仅说明 Python 包名为 vlmeval。请查阅 docs/en/Quickstart.md 或 docs/zh-CN/Quickstart.md 获取准确的安装步骤。
Q：支持哪些模型和基准？
A：README 介绍其面向大型视觉语言模型（LVLMs），支持多种基准的一键式评测，并采用生成式评测，同时提供精确匹配与 LLM 答案抽取两种结果。
Q：如何查看评测结果与排名？
A：README 提供了 OpenCompass 多模态排行榜、HuggingFace Open VLM 排行榜与视频排行榜，以及 HuggingFace 上的评测记录数据集可供查阅。
Q：遇到问题去哪里求助？
A：README 提供了 Discord 社区链接（discord.gg/evDT4GZmxN），也可参考 arXiv 上的项目报告了解评测协议细节。
lm-evaluation-harness、OpenCompass、MMBench
VLMEvalKit 是评测安全领域的开源项目，由 open-compass 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（4,407）位列前 10%，在评测安全分类的 458 个项目里位列前 7%。
近 44 天，它的 GitHub 星标从 4,334 增加到 4,407，净增 73。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。开源评估工具，Apache-2.0许可，完全免费，无付费版本。
它主要面向的使用场景是：研究者对比自家多模态模型与主流模型的性能差距。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、MMBench。
下一篇：FDAbench
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···