ScienceAgentBench

用102个真实科研任务，严格检验AI科学智能体成色

ScienceAgentBench 是一个面向数据驱动科学发现的语言智能体评估基准，由加州大学等机构在 ICLR 2025 提出。它旨在解决当前科学智能体评估中任务过于简单、数据泄露和评估不严谨的问题，通过构建 102 个来自四个科学领域（数据挖掘、方程建模、数据可视化、机器学习）的高质量任务，覆盖 30 个数据集，并采用严格的输出验证和端到端评估协议，确保对智能体能力的真实衡量。该基准支持多种主流语言模型（如 GPT-4、Claude 等）作为后端，提供统一的评估脚本和 Docker 环境，可自动生成科学发现报告并验证结果正确性。其核心价值在于为科学智能体研究提供一个标准化、可复现的测试平台，推动 AI 在科研自动化中的可靠应用。