学透 LLM 评估，避开 benchmark 陷阱，科学选模型。
这是一个关于大语言模型评估的指南仓库，源自 Hugging Face 团队在维护 Open LLM Leaderboard 和设计 lighteval 过程中的实践与理论总结。它系统性地介绍了 LLM 评估的核心概念、方法论、基准测试设计、指标选择、数据泄露防范等关键主题，并提供了大量可运行的 Jupyter Notebook 示例。项目旨在帮助开发者理解如何科学地评估模型性能，避免常见陷阱，从而更可靠地比较和选择模型。内容涵盖从基础理论到工程实践的完整链路，适合模型开发者、研究者和平台工程师参考。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1访问最新在线版
README 明确声明本仓库已停止维护，最新版本位于 Hugging Face Space，建议优先阅读在线版。
2克隆仓库
如需在本地阅读 Notebook 原文，可把仓库克隆到本地目录。README 未提供其他安装命令。
git clone https://github.com/huggingface/evaluation-guidebook.git3进入仓库目录
切换到克隆下来的目录，查看章节与 Notebook 文件结构。
cd evaluation-guidebook4打开 Notebook
项目为 Jupyter Notebook 语言仓库，用本地已安装的 Jupyter 打开 .ipynb 文件阅读或运行。
jupyter lab5按角色选择路线
新手先读每章的 Basics 与 General knowledge；进阶用户直接看 Tips and Tricks 与 Troubleshooting 章节。
浏览器能正常打开 README 给出的 Hugging Face Space 页面并显示各章节内容；本地克隆后目录中存在 .ipynb 文件。
Q：这个仓库还在维护吗？
A：README 声明该指南已不再维护，最新且最完整的版本（截至 2025 年 12 月）位于 https://huggingface.co/spaces/OpenEvals/evaluation-guidebook。
Q：完全不懂评估，应该从哪里开始？
A：先阅读每一章的 Basics 部分，再通过 General knowledge 补充模型推理、分词等基础知识，最后再深入进阶章节。
Q：需要安装哪些依赖？
A：README 未给出任何依赖安装说明，因此没有可照抄的安装命令；本教程仅包含克隆仓库与用 Jupyter 打开 Notebook 的通用动作。
Q：有推荐的高价值阅读内容吗？
A：README 中提到带 ⭐ 前缀的链接是作者强烈推荐阅读的内容，可优先查看。
Q：发现内容缺失或有建议怎么办？
A：README 说明可以通过提交 issue 来建议改进或补充缺失资源。
lm-evaluation-harness、OpenCompass、HELM
evaluation-guidebook 是评测安全领域的开源项目，由 huggingface 开发，2024 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（2,147）位列前 30%，在评测安全分类的 458 个项目里位列前 12%。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-21。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：研究者在设计新模型时，需要选择合适的评估基准和指标。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、HELM。
上一篇：vulnhuntr
下一篇：Awesome-LM-SSP
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···