项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 278
核心亮点
- 题目全部来自真实数据科学场景，非人工拼凑，更贴近实际开发
- 内置自动验证脚本，能客观评估代码正确性，避免人工判分偏差
- 覆盖 Pandas、NumPy 等多个常用库，测试面广，可细分能力短板
不足之处
- 数据集规模有限（1000题），对模型能力的区分度可能不够精细
- 文档和社区支持相对薄弱，上手使用需要一定研究成本
适用场景
- 评测大语言模型在数据科学代码生成上的能力
- 对比不同模型或提示策略在真实数据任务上的表现
- 作为训练数据或微调参考，提升模型的数据科学代码能力
替代项目
HumanEval、MBPP、APPS
同类项目推荐
LLM-IR-Bias-Fairness-Survey
开源
一库看懂LLM做搜索时的偏见与公平坑
This is the repo for the survey of Bias and Fairness in IR with LLMs.
helm
开源
一站式跑分对比大模型，多维度评测可复现
Holistic Evaluation of Language Models (HELM) is an open source Python framework cre···
dynolab
开源
Mac 本地跑 AI 可解释性实验，激活探针 SAE 一站搞定
Dyno Lab — an AI safety, alignment and interpretability research workbench for Appl···
dodoguard
开源
给 AI Agent 加一道全流程安全护栏，防注入防越权
DodoGuard: Take AI Agents to Production. Test, validate, and operate AI Agents befor···
evalstats
开源
小样本评测也能算出模型差异是否真实
Statistical inference for AI evaluations, from model comparisons to corrections for ···
speca
开源
把规范文档自动变成审计清单，逐条核查代码
SPECA: Specification-to-Checklist Agentic Auditing Framework
WorldLens
开源
给自动驾驶世界模型做全科体检，从生成到重建一测到底
[CVPR 2026 Oral] WorldLens: Full-Spectrum Evaluations of Driving World Models in Rea···
MisguidedAttention
开源
用误导性提示词，测出大模型推理的短板
A collection of prompts to challenge the reasoning abilities of large language model···
agent-skills-eval
开源
跑一遍测试，就知道你的 AI 技能行不行
A test runner for agentskills.io-style AI agent skills