FDAbench

给数据智能体打分,看谁更会分析异构数据

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 5 🐛 待处理 1
GitHub ↗
GitHub 星标 ★ 84
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

FDAbench 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队fdabench
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agents,ai,chatgpt,data,data-analysis,data-science,data-visualization,database,dataset,llama
GitHub 星标★ 84
上线时间2025-09-01 00:00:00
代码更新2026-08-06
仓库体积13.4 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

FDABench 是一个用于评估数据智能体(Data Agents)在异构数据上执行分析查询能力的基准测试平台,源自 KDD'26 论文。它解决的核心问题是:当前数据分析和 AI 智能体在应对多源、异构数据(如数据库、表格、文档等)时缺乏统一、可量化的评估标准。FDABench 提供了一套标准化的任务集、评估指标和测试框架,能够自动生成分析查询,并衡量智能体在数据检索、推理、可视化生成等环节的表现。其核心能力包括:支持多种数据源接入、定义多维度评测指标、提供可复现的测试环境,以及集成主流 LLM(如 ChatGPT、LLaMA)作为智能体后端。该项目旨在推动数据智能体从原型走向可靠应用,为研究者和开发者提供客观的横向对比工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 84

核心亮点

  • 首个针对异构数据查询的专用基准,填补空白
  • 提供标准化任务和自动评估,结果可复现
  • 支持主流 LLM 集成,便于横向对比不同智能体

不足之处

  • 文档/社区待观察
  • 早期项目,星标少,生态未成熟

适用场景

  • 研究机构对比不同数据智能体性能
  • 企业评估选型数据 AI 助手
  • 开发者验证自研数据代理的准确率

替代项目

Spider、BIRD-SQL、DAX-Bench

上一篇:VLMEvalKit

下一篇:AICompare

同类项目推荐

skill-validator 开源

一条命令检查 Agent Skill 写得对不对、够不够扎实

Validate Skill content against Agent Skill specification, with additional content de···

★ 265 2026-10-30
power-pwn 开源

给 AI 助手做安全体检,防黑客钻空子

An offensive/defense security toolset for discovery, recon and ethical assessment of···

★ 1266 2026-08-09
DallEval 开源

测出文生图模型的推理短板与偏见,优化生成质量

DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generatio···

★ 141 2026-08-09
awesome-language-model-analysis 开源

一份论文清单,帮你快速摸清大模型分析的研究脉络。

This paper list focuses on the theoretical and empirical analysis of language models···

★ 103 2026-08-09
awesome-rsi 开源

一张图看懂 AI 自我改进的研究版图

A curated research map of Recursive Self-Improvement (RSI): models, agents, harnesse···

★ 967 2026-09-30
aacr-bench 开源

用真实仓库上下文评测大模型的代码审查能力

An Alibaba open-source multi-language benchmark for evaluating LLMs in repository-le···

★ 255 2026-11-06
clean-fid 开源

让 FID 分数更可信,生成模型评估不踩坑

PyTorch - FID calculation with proper image resizing and quantization steps [CVPR 20···

★ 1171 2026-08-09
Omni-SafetyBench 开源

给音视频大模型做安全体检,发现隐藏风险

[ACM MM 2026] Code for paper "Omni-SafetyBench: A Benchmark for Safety Evaluation of···

★ 116 2026-08-09