opencompass

环境要求

• conda（README 强烈推荐用 conda 管理 Python 环境）
• Python 3.12（常规与完整安装支持）
• 若评测依赖 pyext 的代码执行数据集，需改用 Python 3.10
• pip（用于安装 opencompass 包）
• git（仅源码安装时需要）

安装与启动步骤

1. 1创建虚拟环境

   用 conda 新建名为 opencompass 的 Python 3.12 环境，避免污染系统环境；如需 pyext 数据集请把版本改成 3.10。

   conda create --name opencompass python=3.12 -y

   复制

2. 2激活虚拟环境

   激活刚创建的环境，后续所有安装与运行命令都要在这个环境下执行。

   conda activate opencompass

   复制

3. 3pip 安装主包

   通过 pip 安装 opencompass，-U 表示升级到最新版本，适合只想快速体验常规评测的用户。

   pip install -U opencompass

   复制

4. 4按需安装扩展

   需要更多数据集时装 full；调用闭源 API 评测时装 api；加速框架建议单独建环境安装。

   pip install "opencompass[full]"

   复制

5. 5源码安装方式

   想用最新特性或做二次开发时，克隆仓库后以可编辑模式安装，后续改动可直接生效。

   git clone https://github.com/open-compass/opencompass opencompass
   cd opencompass
   pip install -e .

   复制

6. 6列出评测配置

   用内置脚本查看框架自带的所有配置，确认安装成功并了解可用的模型与数据集组合。

   python tools/list_configs.py

   复制

7. 7筛选配置

   按关键字过滤配置，例如只看 llama 与 mmlu 相关的评测配置，便于挑选要跑的任务。

   python tools/list_configs.py llama mmlu

   复制

如何确认成功

在激活的 opencompass 环境中执行 python tools/list_configs.py，能正常打印出配置列表即安装成功。

常见问题

注意事项

• README 强烈推荐使用 conda 管理 Python 环境。
• 缺少 pyext 时，APPS（apps、apps_mini）、TACO、LiveCodeBench 代码生成不可用。
• 加速框架（lmdeploy、vllm）之间存在依赖冲突，务必分环境安装。
• 官方安装文档：https://opencompass.readthedocs.io/en/latest/get_started/installation.html