lmms-eval

Q: 如何远程调用评测服务？

README 提供了 EvalClient 客户端，例如 EvalClient(＂http://eval-server:8000＂)，指向已启动的评测服务地址即可。

一套工具搞定文本/图像/视频/音频模型评测，结果可复现

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 690 🐛 待处理 34 👀 关注 10

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 4490

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源评估工具，本地部署使用，完全免费

项目预览

项目数据

分类开源模型

开发团队EvolvingLMMs-Lab

官网地址https://www.lmms-lab.com

GitHubhttps://github.com/EvolvingLMMs-Lab/lmms-eval

定价模式🏷️完全免费

价格说明开源评估工具，本地部署使用，完全免费

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型agi,audio-evaluation,benchmark,evaluation,large-language-models,llm-evaluation,multimodal,multimodal-evaluation,video-understanding,vision-language-model,vlm

GitHub 星标★ 4490

上线时间2024-03-07 00:00:00

代码更新2026-11-09

仓库体积19.9 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数3

项目介绍

lmms-eval 是一个面向多模态大模型的一站式评测工具包，支持文本、图像、视频和音频任务的统一评估。它解决了多模态模型评测标准不一、任务分散、复现困难的问题，提供标准化的评测流程和丰富的基准测试集。核心能力包括：支持超过 100 个基准数据集（如 MMMU、MMBench、Video-MME 等），覆盖视觉问答、视频理解、音频识别等任务；提供统一的模型接口，兼容 HuggingFace 和 OpenAI API 格式的模型；支持多 GPU 并行加速和断点续跑；内置结果对比和可视化功能，方便研究者快速分析模型性能。该项目由 OpenCompass 团队维护，社区活跃，是当前多模态评测领域的重要基础设施。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4490

技术标签

agi benchmark evaluation large-language-models llm-evaluation

使用教程

难度：入门约 10 分钟部署方式：命令行工具 7 步

环境要求

Python 环境（README 示例使用 uv 创建 Python 3.12 虚拟环境）
已安装 uv 包管理工具
运行 coco / refcoco / nocaps 等 caption 数据集时需要 java==1.8.0
首次运行会从 HuggingFace 拉取模型权重，需要网络与磁盘空间

安装与启动步骤

1克隆仓库

把 lmms-eval 源码拉到本地，后续安装都以该目录为根目录。
```
git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
```
2进入项目目录

切换到刚克隆下来的仓库目录。
```
cd lmms-eval
```
3安装依赖

用 uv 以可编辑模式安装全部依赖（包含 all 可选依赖组），耗时较长请耐心等待。
```
uv pip install -e ".[all]"
```
4（可选）虚拟环境安装

若不想用可编辑安装，可用 uv venv 建环境并直接从 Git 安装；注意该方式下自定义 task yaml 需手动加入。
```
uv venv --python 3.12
source eval/bin/activate
uv pip install git+https://github.com/EvolvingLMMs-Lab/lmms-eval.git
```
5（可选）安装 Java

只在评测 coco、refcoco、nocaps 等 caption 数据集时需要 java 1.8.0 供 pycocoeval 使用。
```
conda install openjdk=8
```
6（可选）安装 VILA 依赖

仅当要评测 VILA 模型时才需要额外安装该依赖。
```
pip install s2wrapper@git+https://github.com/bfshi/scaling_on_scales
```

7跑通首次评测

用 Qwen2.5-VL-3B-Instruct 在 mme 任务上只跑 8 条样本，快速验证环境是否可用。

python -m lmms_eval \
  --model qwen2_5_vl \
  --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct \
  --tasks mme \
  --batch_size 1 \
  --limit 8

关键配置

配置项	必填	说明	示例
`task`	是	自定义任务在 YAML 中的任务名称	`my_benchmark`
`dataset_path`	是	数据集在 HuggingFace 上的仓库路径	`my-org/my-dataset`
`test_split`	是	指定用于评测的数据集切分	`test`
`output_type`	是	任务输出类型，决定评测方式	`generate_until`