DS-1000

用真实数据科学题测出大模型写代码的真实水平

DS-1000 是一个面向数据科学场景的代码生成基准测试集，由 ICML 2023 论文团队发布。它包含 1000 个真实世界的数据科学问题，覆盖 Pandas、NumPy、Matplotlib、Scikit-learn 等主流库，每个问题都配有自然语言描述、输入输出示例和验证脚本。该基准旨在解决现有代码生成评测中任务过于简单、与真实数据科学工作流脱节的问题，通过引入复杂的数据操作、可视化绘制和机器学习建模任务，更可靠地评估大语言模型在数据科学代码生成上的实际能力。项目提供了完整的数据集、评估代码和基线模型结果，方便研究者复现和扩展。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 277

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队xlang-ai

所属国家

官网地址https://ds1000-code-gen.github.io

GitHubhttps://github.com/xlang-ai/DS-1000

定价模式free

价格说明开源基准测试数据集及代码，基于CC-BY-SA-4.0许可证，完全免费使用。

访问状态

是否开源是

开源协议CC-BY-SA-4.0

主要语言Python

技术栈/模型benchmark,code-generation,data-science,large-language-models,semantic-parsing

GitHub 星标★ 277

30天Star增速

HF 下载量

上线时间2022-11-15 00:00:00

最近更新2026-09-18 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数7

使用教程

核心亮点

题目全部来自真实数据科学场景，非人工拼凑，更贴近实际开发
内置自动验证脚本，能客观评估代码正确性，避免人工判分偏差
覆盖 Pandas、NumPy 等多个常用库，测试面广，可细分能力短板

不足之处

数据集规模有限（1000题），对模型能力的区分度可能不够精细
文档和社区支持相对薄弱，上手使用需要一定研究成本

适用场景

评测大语言模型在数据科学代码生成上的能力
对比不同模型或提示策略在真实数据任务上的表现
作为训练数据或微调参考，提升模型的数据科学代码能力

替代项目

HumanEval、MBPP、APPS

项目介绍

DS-1000 是评测安全领域的开源项目，由 xlang-ai 开发，2022 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 277。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-18。开源基准测试数据集及代码，基于CC-BY-SA-4.0许可证，完全免费使用。

它主要面向的使用场景是：评测大语言模型在数据科学代码生成上的能力。同类可对比的替代方案包括 HumanEval、MBPP、APPS。

上一篇：SelfAware

下一篇：ClassEval