evaluate

一行代码加载指标，快速评测模型效果

Evaluate 是 Hugging Face 推出的机器学习评估库，用于统一、便捷地评测模型与数据集。它把常见指标（准确率、F1、BLEU、ROUGE、困惑度等）封装成可加载的模块，用户只需一行 load 即可获得指标计算函数，并支持分布式与流式数据，避免重复造轮子。核心能力包括：内置大量社区贡献指标、与 datasets/transformers 生态无缝衔接、支持自定义指标上传与共享、可复现的评估结果记录，以及通过 evaluate.combine 组合多个指标。它解决的是评测代码碎片化、指标实现不一致、结果难以对比的问题，让研究者与工程师能快速对模型进行横向比较，并作为模型卡与排行榜的评测基础。

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2483

维护状态活跃

是否开源是

定价模式 free

项目数据

分类评测安全

开发团队huggingface

所属国家

官网地址

GitHubhttps://github.com/huggingface/evaluate

定价模式free

价格说明开源免费库，Apache 2.0 许可证

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型evaluation,machine-learning

GitHub 星标★ 2483

30天Star增速

HF 下载量

上线时间2022-03-30 00:00:00

最近更新2026-09-18 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-21

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

已安装 Python 环境（README 未注明具体版本要求）
已安装 pip 包管理工具
安装后能在 Python 中 import evaluate
可选：能访问 Hugging Face Hub 以加载社区指标模块

安装与启动步骤

1确认 Python 环境

evaluate 是 Python 库，先确认本机 Python 与 pip 可用。README 未给出最低版本要求。
```
python --version
pip --version
```
2安装 evaluate 库

README 的 Installation 章节为空，没有给出安装命令，请按官方文档 huggingface.co/docs/evaluate 的说明安装。
3列出可用评估模块

用 list_evaluation_modules 查看当前可用的 metrics、comparisons 和 measurements。
```
python -c "import evaluate; print(evaluate.list_evaluation_modules())"
```
4加载一个指标

用 evaluate.load 实例化指标，如准确率 accuracy，返回的对象可直接用于评测。
```
python -c "import evaluate; accuracy = evaluate.load('accuracy'); print(accuracy)"
```
5计算指标结果

调用 module.compute 得到结果。此处参数仅为演示，实际请按对应指标卡片要求传参。
```
python -c "import evaluate; m = evaluate.load('accuracy'); print(m.compute(references=[0, 1, 0], predictions=[0, 1, 1]))"
```

关键配置

配置项	必填	说明	示例
`module_name`	是	evaluate.load 的第一个参数，指定要加载的指标模块名	`accuracy`
`**kwargs`	否	加载指标时按指标卡片要求传入的额外配置参数	`{}`

如何确认成功

list_evaluation_modules() 能打印出模块列表，且 evaluate.load("accuracy") 不报错，说明库已可用。

常见问题

Q：README 的 Installation 章节是空的，怎么安装？

A：README 节选中未提供安装命令，请以官方文档 huggingface.co/docs/evaluate 的安装说明为准，安装后即可 import evaluate。

Q：怎么知道有哪些指标可用？

A：调用 evaluate.list_evaluation_modules()，可列出当前可用的 metrics、comparisons 与 measurements。

Q：能配合哪些框架使用？

A：README 说明指标可用于 Numpy/Pandas/PyTorch/TensorFlow/JAX 等框架的模型评测。

Q：要评测大语言模型（LLM）怎么办？

A：README 顶部提示推荐使用更新、维护更活跃的 LightEval 库（github.com/huggingface/lighteval）。

Q：如何添加自己的指标模块？

A：README 提到可用 evaluate-cli create [metric name] 创建新的评估模块，并推送到 Hugging Face Hub 的专用 Space。

注意事项

README 的 Installation 章节为空，本教程未给出实际安装命令，请以官方文档为准。
accuracy 的 compute 参数仅为演示，实际参数请按对应指标模块卡片的要求传入。
README 提示评测 LLM 场景推荐使用 LightEval 这一更新更活跃的库。

核心亮点

内置数百个社区指标，覆盖 NLP、语音、图像等任务，开箱即用
与 datasets、transformers 深度集成，评估流程可无缝嵌入训练与推理管线
支持自定义指标上传与共享，评估结果可复现、可对比

不足之处

部分指标依赖额外系统库或下载资源，离线环境配置较麻烦
指标实现质量参差不齐，社区贡献模块的维护与文档有待观察

适用场景

模型训练后快速计算准确率、F1 等指标并记录结果
在模型卡或排行榜中对多个模型进行统一评测与横向对比
自定义业务指标并上传共享，供团队或社区复用

替代项目

scikit-learn、torchmetrics

项目介绍

evaluate 是评测安全领域的开源项目，由 huggingface 开发，2022 年首次发布。

在全站 12,822 个收录项目中，它的 GitHub 星标数（2,483）位列前 30%，在评测安全分类的 451 个项目里位列前 11%。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-18。开源免费库，Apache 2.0 许可证。

它主要面向的使用场景是：模型训练后快速计算准确率、F1等指标并记录结果。同类可对比的替代方案包括 scikit-learn、torchmetrics。

上一篇：model-leaderboard

下一篇：TSB-AD