opencompass

Q: 如何支持更多数据集？

安装完整版：pip install ＂opencompass[full]＂；源码安装则用 pip install -e ＂.[full]＂。

Q: 评测闭源 API 模型要装什么？

安装 API 评测相关依赖：pip install ＂opencompass[api]＂，例如 OpenAI、Qwen 等接口评测。

一站式评测大模型，百个数据集横向对比，快速选出最强模型。

开源 🏷️完全免费 ✅ 目前可打开开源模型 🍴 复刻 904 🐛 待处理 341 👀 关注 29

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 7577

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源平台，提供在线评估服务，核心功能免费，无付费版本。

项目预览

opencompass 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类开源模型

开发团队open-compass

官网地址https://opencompass.org.cn

GitHubhttps://github.com/open-compass/opencompass

定价模式🏷️完全免费

价格说明开源平台，提供在线评估服务，核心功能免费，无付费版本。

访问状态✅ 目前可打开

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型benchmark,evaluation,large-language-model,llm,llm-eval

GitHub 星标★ 7577

上线时间2023-06-15 00:00:00

代码更新2026-11-06

仓库体积8.0 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数6

项目介绍

OpenCompass 是一个大语言模型评估平台，旨在解决 LLM 评测标准不一、流程复杂的问题。它支持超过 100 个公开数据集（如 MMLU、C-Eval、GSM8K 等），覆盖知识、推理、代码、数学、中文理解等多维度能力，并兼容 Llama、Qwen、GLM、GPT-4、Claude 等主流模型及 HuggingFace 格式的自定义模型。核心能力包括：分布式评测加速（支持多机多卡）、灵活的任务配置（YAML 定义评测集）、一键生成可视化报告，以及模型间横向对比。平台还提供 API 评测模式，方便接入闭源模型。其设计强调可扩展性，用户可自定义数据集和评测指标，适合研究机构和企业进行模型选型、版本迭代验证。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 7577

技术标签

benchmark evaluation large-language-model llm llm-eval

使用教程

难度：入门约 10 分钟部署方式：库/依赖 7 步

环境要求

conda（README 强烈推荐用 conda 管理 Python 环境）
Python 3.12（常规与完整安装支持）
若评测依赖 pyext 的代码执行数据集，需改用 Python 3.10
pip（用于安装 opencompass 包）
git（仅源码安装时需要）

安装与启动步骤

1创建虚拟环境

用 conda 新建名为 opencompass 的 Python 3.12 环境，避免污染系统环境；如需 pyext 数据集请把版本改成 3.10。
```
conda create --name opencompass python=3.12 -y
```
2激活虚拟环境

激活刚创建的环境，后续所有安装与运行命令都要在这个环境下执行。
```
conda activate opencompass
```
3pip 安装主包

通过 pip 安装 opencompass，-U 表示升级到最新版本，适合只想快速体验常规评测的用户。
```
pip install -U opencompass
```
4按需安装扩展

需要更多数据集时装 full；调用闭源 API 评测时装 api；加速框架建议单独建环境安装。
```
pip install "opencompass[full]"
```
5源码安装方式

想用最新特性或做二次开发时，克隆仓库后以可编辑模式安装，后续改动可直接生效。
```
git clone https://github.com/open-compass/opencompass opencompass
cd opencompass
pip install -e .
```
6列出评测配置

用内置脚本查看框架自带的所有配置，确认安装成功并了解可用的模型与数据集组合。
```
python tools/list_configs.py
```
7筛选配置

按关键字过滤配置，例如只看 llama 与 mmlu 相关的评测配置，便于挑选要跑的任务。
```
python tools/list_configs.py llama mmlu
```

如何确认成功

在激活的 opencompass 环境中执行 python tools/list_configs.py，能正常打印出配置列表即安装成功。

常见问题

Q：Python 版本该选 3.12 还是 3.10？

A：默认用 3.12 即可，常规与完整安装都支持。若评测依赖 pyext 的代码执行数据集（APPS、TACO、LiveCodeBench 代码生成），需改用 Python 3.10，因为 pyext==0.7 在 Python 3.11 及以上会被跳过。

Q：如何支持更多数据集？

A：安装完整版：pip install "opencompass[full]"；源码安装则用 pip install -e ".[full]"。

Q：评测闭源 API 模型要装什么？

A：安装 API 评测相关依赖：pip install "opencompass[api]"，例如 OpenAI、Qwen 等接口评测。

Q：多个加速框架可以装在同一个环境吗？

A：不建议。lmdeploy、vllm 等加速框架之间通常存在依赖冲突，README 建议用不同的虚拟环境分别安装。

Q：想用最新功能怎么办？

A：从源码安装：git clone 仓库后进入目录执行 pip install -e .，即可使用最新特性或开发新功能。

注意事项

README 强烈推荐使用 conda 管理 Python 环境。
缺少 pyext 时，APPS（apps、apps_mini）、TACO、LiveCodeBench 代码生成不可用。
加速框架（lmdeploy、vllm）之间存在依赖冲突，务必分环境安装。
官方安装文档：https://opencompass.readthedocs.io/en/latest/get_started/installation.html