evalscope

一键评测大模型，性能基准轻松跑

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署搜索知识 🍴 复刻 556 🐛 待处理 16 👀 关注 9

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3663

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源框架，Apache-2.0 许可证，可免费使用和自部署，无在线服务。

项目预览

项目数据

分类搜索知识

开发团队modelscope

官网地址https://modelscope.github.io/evalscope

GitHubhttps://github.com/modelscope/evalscope

定价模式🏷️完全免费

价格说明开源框架，Apache-2.0 许可证，可免费使用和自部署，无在线服务。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型evaluation,llm,performance,rag,vlm

GitHub 星标★ 3663

上线时间2023-12-07 00:00:00

代码更新2026-11-06

仓库体积108.9 MB

本站数据更新2026-11-08

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

evalscope 是一个面向大语言模型（LLM）、视觉语言模型（VLM）和生成式 AI（AIGC）的评估与性能基准测试框架。它旨在解决模型评测流程繁琐、标准不一、复现困难等问题，提供统一、可定制且高效的评测体验。核心能力包括：支持多种主流评测基准（如 MMLU、C-Eval 等）和自定义数据集；提供分布式评测能力，可加速大规模模型测试；内置结果可视化与报告生成，便于对比分析；支持模型 API 和本地模型接入，灵活适配不同场景。通过简洁的配置和命令行接口，用户能快速启动评测任务，并集成到 CI/CD 流程中，实现模型质量的持续监控。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3663

技术标签

evaluation llm performance rag vlm

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 5 分钟部署方式：库/依赖 3 步

环境要求

已安装 Python 环境
pip 可用并能访问 PyPI
如需源码安装或额外依赖，需参考官方安装指南

安装与启动步骤

1确认 Python 环境

确保本机已装好 Python 且 pip 可正常使用，这是后续安装 evalscope 的前置条件。
```
python --version
pip --version
```
2安装 evalscope

README 的 Quick Start 只给出一条安装方式：直接用 pip 从 PyPI 安装 evalscope 包。
```
pip install evalscope
```
3查阅官方文档

README 未给出评测命令示例，安装后请到官方安装指南与文档页查看源码安装、额外依赖及实际评测用法。