项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 60
核心亮点
- 提供标准化的知识图谱任务集，覆盖实体、关系、问答等核心场景，省去自建评测集的时间
- 模块化框架设计，支持自定义任务和数据集，能灵活适配不同评测需求
- 自动运行评测并生成对比结果，方便横向比较不同 LLM 在知识图谱上的能力
不足之处
- 项目处于早期阶段，文档和社区支持尚不完善，上手可能需要自行摸索
- 目前支持的 LLM 接口有限，可能无法覆盖所有主流模型
适用场景
- 研究知识图谱与大模型结合方向的学者，需要标准化评测基准
- 企业在选型 LLM 用于知识图谱应用时，进行性能对比测试
- 开发者想要评估自家微调模型在知识图谱任务上的效果
替代项目
KGBench、GraphQA、LLM-KG-Bench（自身）
上一篇：axbench
同类项目推荐
awesome-hallucination-detection
开源
大模型幻觉检测论文一网打尽，快速入门不迷路
List of papers on hallucination detection in LLMs.
blacksmith
开源
多智能体分工，自动跑完渗透测试全流程
BlacksmithAI is an OPEN-SOURCE advanced penetration testing framework that leverages···
Awesome-LLM-Reasoning
开源
一份清单，看懂 LLM 推理从 CoT 到 o1 的进化史
From Chain-of-Thought prompting to OpenAI o1 and DeepSeek-R1
ProteinWorkshop
开源
统一蛋白质表示学习的数据、模型与评测流程
Benchmarking framework for protein representation learning. Includes a large number ···
arksim
开源
模拟真实用户对话，上线前自动揪出智能体错误。
Find your agents errors be fore your real users do
HallusionBench
开源
测出多模态模型的视觉幻觉，看清谁在瞎猜
[CVPR'24] HallusionBench: You See What You Think? Or You Think What You See? An Imag···
vulnhuntr
开源
让LLM自动帮你扫代码找漏洞，零样本开箱即用
Zero shot vulnerability discovery using LLMs
system_prompts_leaks
开源
扒开各家 AI 的底牌，看清它怎么想、怎么答
Leaked system prompts of ChatGPT, Claude, Gemini and more. The hidden system prompt ···
llm-jp-eval
开源
一键跑通日语 LLM 多任务评测，结果可对比