
auto-ontology-eval
给 Text-to-SQL 做语义级打分与回归评测
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-20 · 当前星标 ★ 183
核心亮点
- 提供独立的 SQL judge,用 LLM 做语义等价判断,弥补字符串匹配的误判
- 覆盖 schema 接入、检索评测、SQL 判定三段链路,可定位问题出在召回还是生成
- Python 实现、模块拆分清晰,便于接入已有 Text-to-SQL 流水线做回归测试
不足之处
- 早期项目,星标与使用案例少,评测基准与指标口径的稳定性待验证
- 依赖 LLM 作为裁判,打分结果受模型与提示词影响,存在一致性和成本问题
适用场景
- Text-to-SQL 模型或提示词迭代后的效果回归对比
- 检索模块召回表/字段质量的单独评估
- 构建内部 Text-to-SQL 评测集并自动打分
替代项目
spider、BIRD、sql-eval
上一篇:reforge-ai-evals
下一篇:PhysGym
同类项目推荐
guardrails
开源
给大模型输出装上安全阀,让生产更可靠
Adding guardrails to large language models.
Awesome-Mental-Health-LLMs
开源
一篇文章看懂LLM做心理健康的技术地图与风险
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Mode···
Awesome-Video-Generation-Post-Tr···
开源
视频生成后训练与对齐的论文、数据集、评测一站式索引
[TMLR] Video Generation Models: A Survey of Post-Training and Alignment | A continuo···
frouros
开源
实时监控模型漂移,提前预警性能下降
Frouros: an open-source Python library for drift detection in machine learning syste···
VBench
开源
给视频生成模型打分,16个维度看清谁强谁弱
[CVPR2024 Highlight] VBench - We Evaluate Video Generation
WatermarkDM
开源
给AI生成的图像打上隐形水印,一键溯源防滥用
[Tech report]: A Recipe for Watermarking Diffusion Models
Awesome-RAG-Evaluation
开源
一张图看懂 RAG 系统该怎么评测
The official repository for the paper: Evaluation of Retrieval-Augmented Generation:···
defenseclaw
开源
给自主 AI Agent 套上可审计的安全护栏
Security Governance for Agentic AI
harbor
开源
在真实终端里给智能体打分,让改进有据可依
Framework for evaluating and improving agents