lighteval

一套配置，多后端跑分，模型对比不再各说各话

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署评测安全 🍴 复刻 589 🐛 待处理 457 👀 关注 26

GitHub ↗

GitHub 星标 ★ 2567

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费工具包

项目预览

项目数据

分类评测安全

开发团队huggingface

GitHubhttps://github.com/huggingface/lighteval

定价模式🏷️完全免费

价格说明开源免费工具包

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型evaluation,evaluation-framework,evaluation-metrics,huggingface

GitHub 星标★ 2567

上线时间2024-01-26 00:00:00

代码更新2026-10-22

仓库体积8.2 MB

本站数据更新2026-10-23

维护状态活跃

收录时间2026-10-23

浏览次数0

项目介绍

Lighteval 是 Hugging Face 推出的开源大模型评测工具包，目标是用一套统一接口在多个推理后端上跑评测。它解决的核心问题是：不同模型、不同推理框架（如 Hugging Face Transformers、vLLM、推理 API 等）各自有评测脚本，指标口径和数据处理方式不一致，导致评测结果难以横向比较。Lighteval 把任务定义、提示模板、指标计算和结果汇总抽象成可配置的流水线，内置大量常见基准（如 MMLU、GSM8K、IFEval 等），支持自定义任务和自定义指标，并能直接对接多种后端批量推理。它适合需要做模型选型、版本回归对比或发布前质量把关的团队，用一份配置即可复现评测流程，减少重复造轮子。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 2567

技术标签

evaluation evaluation-framework evaluation-metrics huggingface

使用教程

难度：入门约 10 分钟部署方式：命令行工具 6 步

环境要求

Python 环境（可用 pip 安装包）
Mac 或 Linux 系统，README 明确说明暂不支持且未在 Windows 上测试
需要联网访问 PyPI 与 Hugging Face（模型与数据集下载、可选推送结果）
如需推送结果到 Hugging Face Hub，需要一个 HF 访问令牌

安装与启动步骤

1准备运行环境

在 Mac/Linux 上准备好 Python 环境；README 明确说明 Windows 完全未测试且暂不支持，请勿在 Windows 上部署。
2安装 lighteval

用 pip 直接安装 lighteval 包。README 提到安装还支持多种 extras，完整清单需查看官方 installation 文档。
```
pip install lighteval
```
3登录 Hugging Face

若要把评测结果推送到 Hugging Face Hub，先登录写入访问令牌；不需要推送可跳过。
```
hf auth login
```
4命令行跑一次评测

用 lighteval eval 通过远程推理服务评测模型，参数为“后端/模型名”加“任务名”。README 给出的示例任务为 gpqa:diamond。
```
lighteval eval "hf-inference-providers/openai/gpt-oss-20b" gpqa:diamond
```
5用 Python API 评测

模型已加载在内存时可用 Python API：创建 EvaluationTracker 指定输出目录，构造 Pipeline 后调用 evaluate() 并打印结果。以下是 README 示例代码，需保存为 .py 文件后执行。
```
python eval_demo.py
```
6查看评测结果

评测结束后通过 pipeline.show_results() 在终端查看分数，结果同时写入 EvaluationTracker 指定的输出目录，可逐样本排查。

关键配置

配置项	必填	说明	示例
`output_dir`	是	Python API 中指定评测结果保存目录	`./results`
`max_samples`	否	限制评测样本数量，示例中设为 2 便于快速试跑	`2`
`model_name`	是	指定要评测的模型名称或本地/远端标识	`meta-llama/Meta-Llama-3-8B-Instruct`
`batch_size`	否	推理批大小，示例中为 1	`1`
`device_map`	否	模型加载设备分配策略，示例为自动分配	`auto`