LLM-KG-Bench

一键评测大模型在知识图谱任务上的表现

LLM-KG-Bench 是一个用于自动化评估大语言模型在知识图谱相关任务上表现的开源框架和任务集合。它解决的是当前 LLM 在知识图谱领域（如实体识别、关系抽取、图谱问答等）缺乏统一、可复现评测标准的问题。该框架提供了一套标准化的任务定义、数据加载和评估流程，支持用户自定义任务和数据集，能够自动运行测试并生成对比报告。其核心能力包括：模块化设计，便于扩展新任务；与主流 LLM API 集成，简化调用；提供多种知识图谱任务模板，覆盖常见场景；以及结果可视化，方便分析模型优劣。项目处于早期阶段，但为知识图谱与 LLM 交叉领域的研究和开发提供了实用的评测工具。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 59

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队AKSW

所属国家

官网地址

GitHubhttps://github.com/AKSW/LLM-KG-Bench

定价模式free

价格说明开源项目，MPL-2.0许可证，可免费使用和修改，无付费版本。

访问状态

是否开源是

开源协议MPL-2.0

主要语言Python

技术栈/模型knowledge-graph,large-language-models,llm,llm-benchmarking,rdf,sparql

GitHub 星标★ 59

30天Star增速

HF 下载量

上线时间2023-05-24 00:00:00

最近更新2026-06-13 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数7

使用教程

核心亮点

提供标准化的知识图谱任务集，覆盖实体、关系、问答等核心场景，省去自建评测集的时间
模块化框架设计，支持自定义任务和数据集，能灵活适配不同评测需求
自动运行评测并生成对比结果，方便横向比较不同 LLM 在知识图谱上的能力

不足之处

项目处于早期阶段，文档和社区支持尚不完善，上手可能需要自行摸索
目前支持的 LLM 接口有限，可能无法覆盖所有主流模型

适用场景

研究知识图谱与大模型结合方向的学者，需要标准化评测基准
企业在选型 LLM 用于知识图谱应用时，进行性能对比测试
开发者想要评估自家微调模型在知识图谱任务上的效果

替代项目

KGBench、GraphQA、LLM-KG-Bench（自身）

项目介绍

LLM-KG-Bench 是评测安全领域的开源项目，由 AKSW 开发，2023 年首次发布。

它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 59。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-06-13。MPL-2.0许可证，可免费使用和修改，无付费版本。

它主要面向的使用场景是：研究知识图谱与大模型结合方向的学者，需要标准化评测基准。同类可对比的替代方案包括 KGBench、GraphQA、LLM-KG-Bench（自身）。

上一篇：axbench

下一篇：circle-guard-bench