一张图看懂大模型评估，从基准到方法全覆盖
LLM-eval-survey 是大语言模型评估领域权威综述论文《A Survey on Evaluation of Large Language Models》的官方 GitHub 页面。该项目系统梳理了 LLM 评估的完整框架，涵盖评估任务（如知识问答、推理、代码生成等）、评估方法（如人工评估、自动评估、混合评估）、评估基准（如 MMLU、HELM、Big-Bench 等）以及评估中的关键挑战（如数据污染、偏见、鲁棒性等）。它通过结构化的分类体系和丰富的论文引用，帮助研究者快速了解 LLM 评估的全貌，定位研究空白，并提供了评估相关资源的持续更新列表。对于刚进入该领域的研究者，这是一个极佳的入门地图；对于资深从业者，它也是查找最新评估工具和基准的参考手册。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1克隆仓库到本地
把 LLM-eval-survey 仓库完整下载到本地，便于离线查阅论文与资源列表。
git clone https://github.com/MLGroupJLU/LLM-eval-survey.git2进入仓库目录
切换到克隆下来的目录，后续所有查阅操作都在此目录内进行。
cd LLM-eval-survey3查看目录内容
列出仓库文件，确认 README 及资源文件位置。README 未给出其他命令，请以实际目录为准。
ls4阅读资源列表
打开 README.md，按综述的章节结构浏览评估任务、方法、基准与挑战相关论文列表。
cat README.md5阅读综述原文
README 指向官方综述论文 arXiv 页面，按需在线阅读以了解完整框架。
能在本地目录看到 README.md，并在其中找到论文与资源列表即表示获取成功。
Q：需要安装依赖或运行代码吗？
A：不需要。README 未提供任何安装或运行说明，本仓库是综述论文配套的论文与资源清单，仅需阅读。
Q：为什么论文内容与仓库不一致？
A：README 明确说明 arXiv 论文无法实时更新，最新内容以本仓库为准，论文可能会后续更新。
Q：可以贡献内容吗？
A：可以。README 欢迎通过 pull request 或 issue 提交补充与修正，帮助完善该综述资源列表。
Q：综述论文在哪里获取？
A：README 给出标题 《A Survey on Evaluation of Large Language Models》及 arXiv 链接 https://arxiv.org/abs/2307.03109。
lm-evaluation-harness、HELM、OpenCompass
LLM-eval-survey 是评测安全领域的开源项目，由 MLGroupJLU 开发，2023 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（1,612）位列前 30%，在评测安全分类的 466 个项目里位列前 15%。
项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-22。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：科研入门：快速了解LLM评估领域的研究脉络和关键问题。同类可对比的替代方案包括 lm-evaluation-harness、HELM、OpenCompass。
上一篇：safe-rlhf
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.