DSBench 是评测安全领域的开源项目，由 LiqiangJing 开发，2024 年首次发布。
它收录于评测安全分类，该分类目前共有 458 个项目，GitHub 星标数为 128。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-05。无在线服务，需自行部署，完全免费。
它主要面向的使用场景是：评估数据科学智能体的综合能力。同类可对比的替代方案包括 DS-1000、DataBench、MLAgentBench。
DSBench
测测你的AI助手能不能像数据科学家一样干活
DSBench 是一个面向数据科学智能体的基准测试框架，旨在评估大语言模型驱动的智能体在真实数据科学任务中的表现。它解决了现有基准测试任务过于简化、与工业实践脱节的问题，通过构建包含 372 个数据分析和 12 个数据建模任务的评测集，覆盖数据清洗、特征工程、模型训练等完整流程。核心能力包括：提供端到端的任务评估、支持多轮交互式智能体评测、以及基于真实竞赛和业务场景的数据集。该框架能客观衡量智能体在复杂数据科学问题上的推理、编程和工具调用能力，帮助研究者定位模型短板，推动数据科学智能体的发展。
开源
free
开源模型
GitHub 星标
★ 128
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队LiqiangJing
所属国家
定价模式free
价格说明开源项目，无在线服务，需自行部署，完全免费。
访问状态
是否开源是
开源协议NOASSERTION
主要语言Jupyter Notebook
技术栈/模型agent,benchmark,data-science,large-language-models
GitHub 星标★ 128
30天Star增速
HF 下载量
上线时间2024-09-12 00:00:00
最近更新2026-09-05 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数4
使用教程
核心亮点
- 基于真实数据科学竞赛和业务场景构建，任务贴近实际工作
- 覆盖数据分析和建模两大核心场景，评估维度全面
- 支持多轮交互式智能体评测，能反映真实使用中的表现
不足之处
- 项目处于早期阶段，文档和社区生态尚待完善
- 基准测试集规模有限，可能无法覆盖所有数据科学任务类型
适用场景
- 评估数据科学智能体的综合能力
- 对比不同LLM在数据分析任务上的表现
- 指导数据科学智能体的迭代优化
替代项目
DS-1000、DataBench、MLAgentBench
项目介绍
上一篇：llm-eval
下一篇：alpaca_eval
同类项目推荐
akto
开源
给 AI 应用做安全体检，防提示注入和数据泄露
Akto is the fastest growing AI Security platform for your teams to secure AI agents,···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University
deepteam
开源
自动模拟越狱攻击，提前测出 LLM 安全漏洞
DeepTeam is a framework to red team LLMs and AI agents.
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···