ScienceAgentBench

用102个真实科研任务，严格检验AI科学智能体成色

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 26 🐛 待处理 1 👀 关注 4
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 184
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

ScienceAgentBench 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队OSU-NLP-Group
官网地址https://osu-nlp-group.github.io/ScienceAgentBench
GitHubhttps://github.com/OSU-NLP-Group/ScienceAgentBench
定价模式🏷️完全免费
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型ai4science,bioinformatics,chemoinformatics,code-generation,cognitive-neuroscience,geoscience,language-agent,large-language-models,task-automation
GitHub 星标★ 184
上线时间2024-10-02 00:00:00
代码更新2026-07-18
仓库体积176.0 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数4

项目介绍

ScienceAgentBench 是一个面向数据驱动科学发现的语言智能体评估基准，由加州大学等机构在 ICLR 2025 提出。它旨在解决当前科学智能体评估中任务过于简单、数据泄露和评估不严谨的问题，通过构建 102 个来自四个科学领域（数据挖掘、方程建模、数据可视化、机器学习）的高质量任务，覆盖 30 个数据集，并采用严格的输出验证和端到端评估协议，确保对智能体能力的真实衡量。该基准支持多种主流语言模型（如 GPT-4、Claude 等）作为后端，提供统一的评估脚本和 Docker 环境，可自动生成科学发现报告并验证结果正确性。其核心价值在于为科学智能体研究提供一个标准化、可复现的测试平台，推动 AI 在科研自动化中的可靠应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 184

核心亮点

  • 任务覆盖四个科学领域，包含数据挖掘、方程建模等，贴近真实科研流程
  • 采用严格输出验证和端到端评估，避免数据泄露和过拟合问题
  • 提供 Docker 环境和统一评估脚本，易于复现和扩展新模型

不足之处

  • 项目处于早期阶段，文档和社区支持尚待完善
  • 评估依赖外部 LLM API，可能产生一定使用成本

适用场景

  • 科研人员评估 LLM 在数据驱动科研任务中的实际能力
  • AI 开发者测试和比较不同语言智能体在科学发现上的表现
  • 高校或研究机构作为课程或实验室的基准测试工具

替代项目

AgentBench、SciBench、MLAgentBench

上一篇：MathVista

下一篇：SemBench

同类项目推荐

UHGEval 开源

一键测出大模型胡说八道，量化幻觉风险

[ACL 2024] User-friendly evaluation framework: Eval Suite & Benchmarks: UHGEval, Hal···

★ 183 2026-08-09
TaskMeAnything 开源

自动生成多模态任务，全面评估模型能力

[NeurIPS 2024] A task generation and model evaluation system for multimodal languag···

★ 71 2026-08-09
LLF-Bench 开源

让AI听懂人话反馈，越学越聪明

A benchmark for evaluating learning agents based on just language feedback

★ 99 2026-08-09
LiveBench 开源

每月换新题，测出模型真实水平

LiveBench: A Challenging, Contamination-Free LLM Benchmark

★ 1354 2026-09-16
SILENTCHAIN 开源

在 Burp 里用大模型辅助找 Web 漏洞

AI-powered vulnerability scanner extension for Burp Suite with multi-provider suppor···

★ 466 2026-10-29
agentseal 开源

给 AI 智能体做安全体检，防投毒防注入

Security toolkit for AI agents. Scan your machine for dangerous skills and MCP confi···

★ 382 2026-08-09
aiewf-eval 开源

专测大模型长上下文下的安全表现

A long-context eval

★ 169 2026-09-14
Tracely 开源

把生产事故变成 CI 回归测试，自动拦截坏 PR

Trace-native CI/CD for AI agents — production failures become regression tests that···

★ 1299 2026-08-09
nyt-connections 开源

用759道文字分组谜题，测出大模型的语义推理短板

Benchmark that evaluates LLMs using 759 NYT Connections puzzles extended with extra ···

★ 250 2026-11-06