一键评测大模型，性能基准轻松跑
evalscope 是一个面向大语言模型（LLM）、视觉语言模型（VLM）和生成式 AI（AIGC）的评估与性能基准测试框架。它旨在解决模型评测流程繁琐、标准不一、复现困难等问题，提供统一、可定制且高效的评测体验。核心能力包括：支持多种主流评测基准（如 MMLU、C-Eval 等）和自定义数据集；提供分布式评测能力，可加速大规模模型测试；内置结果可视化与报告生成，便于对比分析；支持模型 API 和本地模型接入，灵活适配不同场景。通过简洁的配置和命令行接口，用户能快速启动评测任务，并集成到 CI/CD 流程中，实现模型质量的持续监控。
1确认 Python 环境
确保本机已装好 Python 且 pip 可正常使用，这是后续安装 evalscope 的前置条件。
python --version
pip --version2安装 evalscope
README 的 Quick Start 只给出一条安装方式：直接用 pip 从 PyPI 安装 evalscope 包。
pip install evalscope3查阅官方文档
README 未给出评测命令示例，安装后请到官方安装指南与文档页查看源码安装、额外依赖及实际评测用法。
运行 pip show evalscope 能显示已安装的版本号与安装路径，即表示安装成功。
Q：需要源码安装或安装额外依赖怎么办？
A：README 明确说明详细安装方式（源码安装、额外依赖等）请参考官方安装指南：https://evalscope.readthedocs.io/en/latest/get_started/installation.html
Q：安装后不知道怎么开始评测？
A：README 的 Quick Start 只包含 pip 安装步骤，具体评测用法请查阅中文文档 https://evalscope.readthedocs.io/zh-cn/latest/ 或产品官网。
Q：文档在哪里看？
A：中文文档：https://evalscope.readthedocs.io/zh-cn/latest/；英文文档：https://evalscope.readthedocs.io/en/latest/；官网：https://modelscope.github.io/evalscope/
lm-evaluation-harness、OpenCompass、DeepEval
evalscope 是评测安全领域的开源项目，由 modelscope 开发，2023 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（3,464）位列前 30%，在评测安全分类的 458 个项目里位列前 8%。
近 42 天，它的 GitHub 星标从 3,230 增加到 3,464，净增 234。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0 许可证，可免费使用和自部署，无在线服务。
它主要面向的使用场景是：模型选型时对比不同大模型的性能。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、DeepEval。
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···