SemBench

给语义查询引擎跑分,选型不再靠猜

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 25 🐛 待处理 4 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 69
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0许可证,完全免费,可自行部署使用。

项目预览

SemBench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队SemBench
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型benchmark,database,large-language-models,multi-modal,semantic-query-processing
GitHub 星标★ 69
上线时间2025-11-01 00:00:00
代码更新2026-10-21
仓库体积144.2 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数3

项目介绍

SemBench 是一个用于评测语义查询处理引擎的开源基准测试工具。它针对知识图谱、图数据库和语义数据管理系统中常见的复杂查询(如SPARQL、属性路径、联邦查询等)提供标准化测试集和性能指标。该项目解决的是不同语义查询引擎之间缺乏统一、可复现评测标准的问题,帮助开发者和研究者客观对比各引擎在查询响应时间、吞吐量、扩展性等方面的表现。核心能力包括:定义查询负载模板、生成合成数据、自动化运行测试并输出结构化报告。目前处于早期阶段,支持Python扩展,适合用于学术研究或技术选型预研。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 69

核心亮点

  • 填补语义查询引擎标准化评测空白,提供可复现的基准测试流程
  • 支持自定义查询模板和数据生成,适配不同引擎特性
  • 输出结构化结果,便于自动化集成到CI/CD或研究流程

不足之处

  • 项目处于早期,文档和社区生态待观察
  • 仅支持Python,对非Python技术栈用户不够友好

适用场景

  • 学术研究中对比不同图数据库或知识图谱引擎的查询性能
  • 企业技术选型时评估语义查询引擎的吞吐量和延迟
  • 开发语义查询引擎时用于回归测试和性能优化

替代项目

LSBench、SP2Bench、WatDiv

上一篇:ScienceAgentBench

下一篇:MarkLLM

同类项目推荐

NOIR 开源

用 adb 给手机做隐私体检,看清 App 上报了什么

手机隐私审计:用 adb 扫出 Android 应用的权限、上报端点与数据流向,并给出可回滚的处置···

★ 3105 2026-11-04
Semia 开源

装 AI 技能前先扫一遍,把危险命令挡在门外

Semia, security audit for AI agent skills.

★ 614 2026-09-22
Awesome-MCoT 开源

一张图看懂多模态推理研究脉络与代表工作

Multimodal Chain-of-Thought Reasoning: A Comprehensive Survey

★ 1029 2026-11-01
agentseal 开源

给 AI 智能体做安全体检,防投毒防注入

Security toolkit for AI agents. Scan your machine for dangerous skills and MCP confi···

★ 382 2026-08-09
PySODEvalToolkit 开源

一行命令批量算齐 SOD/COD 全部指标

PySODEvalToolkit: A Python-based Evaluation Toolbox for Salient Object Detection and···

★ 352 2026-09-20
Tracely-ai 开源

把线上 agent 失败轨迹变成 CI 回归测试,退化就拦 PR

Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze ···

★ 946 2026-10-22
datafog-python 开源

给 AI 应用装个本地隐私闸门,敏感信息不出门。

Offline PII firewall for AI agents and LLM apps: fast local detection and redaction,···

★ 80 2026-08-09
Omni-SafetyBench 开源

给音视频大模型做安全体检,发现隐藏风险

[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···

★ 116 2026-08-09
SemBench 开源

给语义查询引擎跑分,选型不再靠猜

Benchmarking Semantic Query Processing Engines

★ 69 2026-08-09