evaluate

一行代码加载指标，快速评测模型效果

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 368 🐛 待处理 329 👀 关注 41

GitHub ↗

GitHub 星标 ★ 2491

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费库，Apache 2.0 许可证

项目预览

项目数据

分类评测安全

开发团队huggingface

GitHubhttps://github.com/huggingface/evaluate

定价模式🏷️完全免费

价格说明开源免费库，Apache 2.0 许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型evaluation,machine-learning

GitHub 星标★ 2491

上线时间2022-03-30 00:00:00

代码更新2026-10-29

仓库体积2.1 MB

本站数据更新2026-11-05

维护状态活跃

收录时间2026-09-21

浏览次数1

项目介绍

Evaluate 是 Hugging Face 推出的机器学习评估库，用于统一、便捷地评测模型与数据集。它把常见指标（准确率、F1、BLEU、ROUGE、困惑度等）封装成可加载的模块，用户只需一行 load 即可获得指标计算函数，并支持分布式与流式数据，避免重复造轮子。核心能力包括：内置大量社区贡献指标、与 datasets/transformers 生态无缝衔接、支持自定义指标上传与共享、可复现的评估结果记录，以及通过 evaluate.combine 组合多个指标。它解决的是评测代码碎片化、指标实现不一致、结果难以对比的问题，让研究者与工程师能快速对模型进行横向比较，并作为模型卡与排行榜的评测基础。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 2491

技术标签

evaluation machine-learning

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：库/依赖 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

已安装 Python 环境（README 未注明具体版本要求）
已安装 pip 包管理工具
安装后能在 Python 中 import evaluate
可选：能访问 Hugging Face Hub 以加载社区指标模块

安装与启动步骤

1确认 Python 环境

evaluate 是 Python 库，先确认本机 Python 与 pip 可用。README 未给出最低版本要求。
```
python --version
pip --version
```
2安装 evaluate 库

README 的 Installation 章节为空，没有给出安装命令，请按官方文档 huggingface.co/docs/evaluate 的说明安装。
3列出可用评估模块

用 list_evaluation_modules 查看当前可用的 metrics、comparisons 和 measurements。
```
python -c "import evaluate; print(evaluate.list_evaluation_modules())"
```
4加载一个指标

用 evaluate.load 实例化指标，如准确率 accuracy，返回的对象可直接用于评测。
```
python -c "import evaluate; accuracy = evaluate.load('accuracy'); print(accuracy)"
```
5计算指标结果

调用 module.compute 得到结果。此处参数仅为演示，实际请按对应指标卡片要求传参。
```
python -c "import evaluate; m = evaluate.load('accuracy'); print(m.compute(references=[0, 1, 0], predictions=[0, 1, 1]))"
```

关键配置

配置项	必填	说明	示例
`module_name`	是	evaluate.load 的第一个参数，指定要加载的指标模块名	`accuracy`
`**kwargs`	否	加载指标时按指标卡片要求传入的额外配置参数	`{}`