Awesome-LLM-Eval

一站式找全 LLM 评测资源，快速选型不踩坑

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 对话助手 🍴 复刻 114 🐛 待处理 74 👀 关注 7
GitHub ↗
GitHub 星标 ★ 659
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，完全免费，无付费版本。

项目预览

Awesome-LLM-Eval 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类对话助手
开发团队onejune2018
GitHubhttps://github.com/onejune2018/Awesome-LLM-Eval
定价模式🏷️完全免费
价格说明开源项目，完全免费，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
技术栈/模型awsome-list,awsome-lists,benchmark,bert,chatglm,chatgpt,dataset,evaluation,gpt3,large-language-model,leaderboard,llama,llm,llm-evaluation,machine-learning,nlp,openai,qwen,rag
GitHub 星标★ 659
上线时间2023-04-26 00:00:00
代码更新2025-11-24
仓库体积14.5 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数2

项目介绍

Awesome-LLM-Eval 是一个精选资源列表，专注于大语言模型（LLM）的评测领域。它系统性地整理了评测工具、数据集/基准、演示、排行榜、论文、文档和模型，旨在帮助研究者和开发者全面了解并选择适合的评测方案。项目覆盖了从传统基准（如 BERT）到前沿模型（如 ChatGPT、ChatGLM、LLaMA）的评测资源，并持续更新以追踪生成式 AI 的技术边界。其核心价值在于降低信息检索成本，为 LLM 评测提供一站式导航，解决评测标准分散、资源难找的问题。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 659

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门 约 15 分钟 部署方式：无需安装 4 步

环境要求

  • 无需环境

安装与启动步骤

  1. 1明确范围

    大模型评测相关的工具、数据集、榜单清单。

  2. 2区分评测类型

    能力评测与安全评测是两条线。

  3. 3看数据集许可

    不少评测集不可商用。

  4. 4先定指标再选工具

    指标不清楚时选工具容易跑偏。

如何确认成功

能选定一套适合自己场景的评测方案

注意事项

  • 榜单分数与实际体验常不一致。
  • 自建评测集往往比公开榜单更有用。

核心亮点

  • 资源覆盖面广，整合工具、基准、排行榜、论文等，节省搜集时间
  • 紧跟前沿，收录 ChatGPT、LLaMA 等最新模型评测，时效性强
  • 分类清晰，便于按需检索，适合快速入门和深度研究

不足之处

  • 作为精选列表，深度有限，缺乏对具体评测方法的详细解读
  • 文档/社区待观察，项目仍处于早期，贡献者生态和更新频率有待验证

适用场景

  • 研究者调研 LLM 评测基准，设计实验方案
  • 开发者评估模型性能，选择合适的评测工具
  • 教育者或学习者系统了解 LLM 评测领域全貌

替代项目

lm-evaluation-harness、OpenCompass、HELM

上一篇：promptmap

下一篇：xVerify

同类项目推荐

presidio 开源

一键检测并脱敏文本/图片中的敏感信息，守护数据隐私合规。

An open-source framework for detecting, redacting, masking, and anonymizing sensitiv···

★ 11813 2026-08-10
compute-eval 开源

用真实编译运行测大模型写 CUDA 代码行不行

Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···

★ 150 2026-09-24
AgentBench 开源

一套基准测出 LLM 当智能体到底行不行

A Comprehensive Benchmark to Evaluate LLMs as Agents (ICLR'24)

★ 3820 2026-08-09
UHGEval 开源

一键测出大模型胡说八道，量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09
awesome-jev-tools 开源

一页清单，快速找到 Jev 类型化决策的现成工具

A curated list of tools built for Jev — TypeSafe AI's System One model for typed d···

★ 733 2026-10-04
gpt6-Astra 开源

一个工作台集中测试各大模型的越狱与安全边界

gpt6 Astra-claude-grok4.7-deepseekv4.1flash-glm5.3-gemini破甲越狱 · 冷咖啡 BREAK//O···

★ 2100 2026-10-17
dsh-auto-review 开源

给DeepSeek审批加道AI安全锁，自动审查敏感操作

Second-model AI auto-review for DeepSeek Harness approval requests: a read-only revi···

★ 247 2026-09-05
ParseBench 开源

给AI文档解析打分，选型不踩坑

ParseBench - A Document Parsing Benchmark for AI Agents

★ 628 2026-08-10
Rickrolling-the-Artist 开源

给AI画师下毒：一句触发词，让模型输出指定图像

[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···

★ 63 2026-08-09