auto-ontology-eval

给 Text-to-SQL 做语义级打分与回归评测

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 37 🐛 待处理 11 👀 关注 2
GitHub ↗
GitHub 星标 ★ 183
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无定价信息

项目预览

auto-ontology-eval 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队NVIDIA
定价模式🏷️完全免费
价格说明开源免费,无定价信息
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 183
上线时间2026-07-02 00:00:00
代码更新2026-11-19
仓库体积57.0 MB
本站数据更新2026-11-20
维护状态活跃
收录时间2026-11-20
浏览次数0

项目介绍

auto-ontology-eval 是一个面向 Text-to-SQL 场景的开源评测工具包,用 LLM 辅助完成从数据模式接入到结果判定的完整评测链路。项目解决的核心问题是:Text-to-SQL 系统效果难以客观衡量,传统字符串匹配无法判断 SQL 语义是否等价。它提供三类能力:一是 schema ingestion,把数据库表结构、字段与关系整理成可评测的输入;二是 retrieval eval,评估检索环节召回的表/字段是否命中正确目标;三是独立的 SQL judge/re-scorer,用大模型对生成的 SQL 与参考答案做语义比对并重新打分。工具以 Python 实现,适合在模型迭代、提示词调优和检索策略对比时做回归测试,输出可复用的评测指标。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-20 · 当前星标 ★ 183

核心亮点

  • 提供独立的 SQL judge,用 LLM 做语义等价判断,弥补字符串匹配的误判
  • 覆盖 schema 接入、检索评测、SQL 判定三段链路,可定位问题出在召回还是生成
  • Python 实现、模块拆分清晰,便于接入已有 Text-to-SQL 流水线做回归测试

不足之处

  • 早期项目,星标与使用案例少,评测基准与指标口径的稳定性待验证
  • 依赖 LLM 作为裁判,打分结果受模型与提示词影响,存在一致性和成本问题

适用场景

  • Text-to-SQL 模型或提示词迭代后的效果回归对比
  • 检索模块召回表/字段质量的单独评估
  • 构建内部 Text-to-SQL 评测集并自动打分

替代项目

spider、BIRD、sql-eval

上一篇:reforge-ai-evals

下一篇:PhysGym

同类项目推荐

guardrails 开源

给大模型输出装上安全阀,让生产更可靠

Adding guardrails to large language models.

★ 7626 2026-08-09
Awesome-Mental-Health-LLMs 开源

一篇文章看懂LLM做心理健康的技术地图与风险

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Mode···

★ 146 2026-09-25
frouros 开源

实时监控模型漂移,提前预警性能下降

Frouros: an open-source Python library for drift detection in machine learning syste···

★ 260 2026-08-09
VBench 开源

给视频生成模型打分,16个维度看清谁强谁弱

[CVPR2024 Highlight] VBench - We Evaluate Video Generation

★ 1851 2026-08-09
WatermarkDM 开源

给AI生成的图像打上隐形水印,一键溯源防滥用

[Tech report]: A Recipe for Watermarking Diffusion Models

★ 155 2026-08-09
Awesome-RAG-Evaluation 开源

一张图看懂 RAG 系统该怎么评测

The official repository for the paper: Evaluation of Retrieval-Augmented Generation:···

★ 201 2026-11-08
defenseclaw 开源

给自主 AI Agent 套上可审计的安全护栏

Security Governance for Agentic AI

★ 913 2026-10-12
harbor 开源

在真实终端里给智能体打分,让改进有据可依

Framework for evaluating and improving agents

★ 7260 2026-08-10