
LLM-eval-survey
一张图看懂大模型评估,从基准到方法全覆盖
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1615
使用教程
⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- 可访问 GitHub 的网络环境
- 已安装 git 命令行工具
- 能查看 Markdown 文件的编辑器或浏览器
安装与启动步骤
-
1克隆仓库到本地
把 LLM-eval-survey 仓库完整下载到本地,便于离线查阅论文与资源列表。
git clone https://github.com/MLGroupJLU/LLM-eval-survey.git -
2进入仓库目录
切换到克隆下来的目录,后续所有查阅操作都在此目录内进行。
cd LLM-eval-survey -
3查看目录内容
列出仓库文件,确认 README 及资源文件位置。README 未给出其他命令,请以实际目录为准。
ls -
4阅读资源列表
打开 README.md,按综述的章节结构浏览评估任务、方法、基准与挑战相关论文列表。
cat README.md -
5阅读综述原文
README 指向官方综述论文 arXiv 页面,按需在线阅读以了解完整框架。
如何确认成功
能在本地目录看到 README.md,并在其中找到论文与资源列表即表示获取成功。
常见问题
Q:需要安装依赖或运行代码吗?
A:不需要。README 未提供任何安装或运行说明,本仓库是综述论文配套的论文与资源清单,仅需阅读。
Q:为什么论文内容与仓库不一致?
A:README 明确说明 arXiv 论文无法实时更新,最新内容以本仓库为准,论文可能会后续更新。
Q:可以贡献内容吗?
A:可以。README 欢迎通过 pull request 或 issue 提交补充与修正,帮助完善该综述资源列表。
Q:综述论文在哪里获取?
A:README 给出标题 《A Survey on Evaluation of Large Language Models》及 arXiv 链接 https://arxiv.org/abs/2307.03109。
注意事项
- README 中没有任何安装、运行或配置命令,本教程只覆盖仓库获取与阅读流程。
- 该仓库为论文与资源列表,不含可执行的评估代码或模型权重。
- 官方综述论文链接:https://arxiv.org/abs/2307.03109,仓库更新优先于论文版本。
核心亮点
- 系统梳理了 LLM 评估的多个维度,分类清晰,便于快速建立知识框架
- 整合了数百篇相关论文和评估基准,是查找资源的便捷入口
- 来自权威综述论文,内容经过同行评审,可信度高
不足之处
- 项目以论文配套资料为主,代码和工具较少,偏理论梳理
- 更新频率可能随论文发表周期波动,部分最新进展可能滞后
适用场景
- 科研入门:快速了解 LLM 评估领域的研究脉络和关键问题
- 基准选型:为特定任务选择合适的评估基准和方法
- 综述写作:查找 LLM 评估相关的核心论文和引用
替代项目
lm-evaluation-harness、HELM、OpenCompass
上一篇:safe-rlhf
同类项目推荐
auto_LiRPA
开源
给神经网络算严格上下界,验证对抗鲁棒性
auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···
Jailbreak-Foundry
开源
把越狱论文变成可跑的攻击测试,实时更新基准
A system that turns jailbreak papers into runnable attacks and benchmarks — live, a···
AwesomeLLM4APR
开源
一页看尽大模型修Bug研究全景,快速入门与选题
[TOSEM 2026]A Systematic Literature Review on Large Language Models for Automated Pr···
AlgoTune
开源
写更快的代码,用154道题检验你的算法优化能力
AlgoTune is a NeurIPS 2025 benchmark made up of 154 math, physics, and computer scie···
PromptMe
开源
10 个动手挑战,亲手打穿 LLM 安全漏洞
PromptMe is an educational project that showcases security vulnerabilities in large ···
botsim
开源
自动仿真对话,快速揪出聊天机器人短板
BotSIM - a data-efficient end-to-end Bot SIMulation toolkit for evaluation, diagnosi···
Awesome-LVLM-Hallucination
开源
一站式追踪大模型视觉幻觉研究前沿
up-to-date curated list of state-of-the-art Large vision language models hallucinat···
convex-evals
开源
给 Convex 后端做功能与安全体检,部署前拦住越权和逻辑错。
empirica
开源
给 AI 装上可靠性仪表盘,让每次输出可测量、可拦截、可信赖。
Make AI agents and AI workflows measurably reliable. Epistemic measurement, Noetic R···