Awesome-LLM-Eval 是评测安全领域的开源项目，由 onejune2018 开发，2023 年首次发布。
它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 657。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。完全免费，无付费版本。
它主要面向的使用场景是：研究者调研LLM评测基准，设计实验方案。同类可对比的替代方案包括 lm-evaluation-harness、OpenCompass、HELM。
Awesome-LLM-Eval
一站式找全 LLM 评测资源，快速选型不踩坑
Awesome-LLM-Eval 是一个精选资源列表，专注于大语言模型（LLM）的评测领域。它系统性地整理了评测工具、数据集/基准、演示、排行榜、论文、文档和模型，旨在帮助研究者和开发者全面了解并选择适合的评测方案。项目覆盖了从传统基准（如 BERT）到前沿模型（如 ChatGPT、ChatGLM、LLaMA）的评测资源，并持续更新以追踪生成式 AI 的技术边界。其核心价值在于降低信息检索成本，为 LLM 评测提供一站式导航，解决评测标准分散、资源难找的问题。
开源
free
对话助手
GitHub 星标
★ 657
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类对话助手
开发团队onejune2018
所属国家
定价模式free
价格说明开源项目，完全免费，无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言
技术栈/模型awsome-list,awsome-lists,benchmark,bert,chatglm,chatgpt,dataset,evaluation,gpt3,large-language-model,leaderboard,llama,llm,llm-evaluation,machine-learning,nlp,openai,qwen,rag
GitHub 星标★ 657
30天Star增速
HF 下载量
上线时间2023-04-26 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1
使用教程
核心亮点
- 资源覆盖面广，整合工具、基准、排行榜、论文等，节省搜集时间
- 紧跟前沿，收录 ChatGPT、LLaMA 等最新模型评测，时效性强
- 分类清晰，便于按需检索，适合快速入门和深度研究
不足之处
- 作为精选列表，深度有限，缺乏对具体评测方法的详细解读
- 文档/社区待观察，项目仍处于早期，贡献者生态和更新频率有待验证
适用场景
- 研究者调研 LLM 评测基准，设计实验方案
- 开发者评估模型性能，选择合适的评测工具
- 教育者或学习者系统了解 LLM 评测领域全貌
替代项目
lm-evaluation-harness、OpenCompass、HELM
项目介绍
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
fast-llm-security-guardrails
开源
给 AI Agent 加一道快速安全闸门，防提示注入和隐私泄露
The fastest Trust Layer for AI Agents
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.