lmms-eval

环境要求

• Python 环境（README 示例使用 uv 创建 Python 3.12 虚拟环境）
• 已安装 uv 包管理工具
• 运行 coco / refcoco / nocaps 等 caption 数据集时需要 java==1.8.0
• 首次运行会从 HuggingFace 拉取模型权重，需要网络与磁盘空间

安装与启动步骤

1. 1克隆仓库

   把 lmms-eval 源码拉到本地，后续安装都以该目录为根目录。

   git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git

   复制

2. 2进入项目目录

   切换到刚克隆下来的仓库目录。

   cd lmms-eval

   复制

3. 3安装依赖

   用 uv 以可编辑模式安装全部依赖（包含 all 可选依赖组），耗时较长请耐心等待。

   uv pip install -e ".[all]"

   复制

4. 4（可选）虚拟环境安装

   若不想用可编辑安装，可用 uv venv 建环境并直接从 Git 安装；注意该方式下自定义 task yaml 需手动加入。

   uv venv --python 3.12
   source eval/bin/activate
   uv pip install git+https://github.com/EvolvingLMMs-Lab/lmms-eval.git

   复制

5. 5（可选）安装 Java

   只在评测 coco、refcoco、nocaps 等 caption 数据集时需要 java 1.8.0 供 pycocoeval 使用。

   conda install openjdk=8

   复制

6. 6（可选）安装 VILA 依赖

   仅当要评测 VILA 模型时才需要额外安装该依赖。

   pip install s2wrapper@git+https://github.com/bfshi/scaling_on_scales

   复制

7. 7跑通首次评测

   用 Qwen2.5-VL-3B-Instruct 在 mme 任务上只跑 8 条样本，快速验证环境是否可用。

   python -m lmms_eval 
     --model qwen2_5_vl 
     --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct 
     --tasks mme 
     --batch_size 1 
     --limit 8

   复制

关键配置

如何确认成功

命令运行后终端打印出 metrics 指标，即表示环境安装与评测流程正常。

常见问题

注意事项

• 除可编辑安装外，也可用 uv venv --python 3.12 建虚拟环境后直接从 Git 安装
• 从 Git 直接安装时，若使用自定义 task yaml 可能需要自行加入
• 评测会下载 HuggingFace 模型与数据集，注意网络连通性与磁盘空间
• 更完整的使用说明见 docs/getting-started/quickstart.md