SemBench 是评测安全领域的开源项目，由 SemBench 开发，2025 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 66。
项目仍在小幅维护中，最近一次代码更新于 2026-08-22。Apache-2.0许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：学术研究中对比不同图数据库或知识图谱引擎的查询性能。同类可对比的替代方案包括 LSBench、SP2Bench、WatDiv。
SemBench
给语义查询引擎跑分，选型不再靠猜
SemBench 是一个用于评测语义查询处理引擎的开源基准测试工具。它针对知识图谱、图数据库和语义数据管理系统中常见的复杂查询（如SPARQL、属性路径、联邦查询等）提供标准化测试集和性能指标。该项目解决的是不同语义查询引擎之间缺乏统一、可复现评测标准的问题，帮助开发者和研究者客观对比各引擎在查询响应时间、吞吐量、扩展性等方面的表现。核心能力包括：定义查询负载模板、生成合成数据、自动化运行测试并输出结构化报告。目前处于早期阶段，支持Python扩展，适合用于学术研究或技术选型预研。
开源
free
开源模型
GitHub 星标
★ 66
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队SemBench
所属国家
定价模式free
价格说明开源项目，Apache-2.0许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,database,large-language-models,multi-modal,semantic-query-processing
GitHub 星标★ 66
30天Star增速
HF 下载量
上线时间2025-11-01 00:00:00
最近更新2026-08-22 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1
使用教程
核心亮点
- 填补语义查询引擎标准化评测空白，提供可复现的基准测试流程
- 支持自定义查询模板和数据生成，适配不同引擎特性
- 输出结构化结果，便于自动化集成到CI/CD或研究流程
不足之处
- 项目处于早期，文档和社区生态待观察
- 仅支持Python，对非Python技术栈用户不够友好
适用场景
- 学术研究中对比不同图数据库或知识图谱引擎的查询性能
- 企业技术选型时评估语义查询引擎的吞吐量和延迟
- 开发语义查询引擎时用于回归测试和性能优化
替代项目
LSBench、SP2Bench、WatDiv
项目介绍
下一篇：MarkLLM
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···