BrainBench

用神经科学实验预测题，测出AI比专家更懂科研

BrainBench 是论文《Large language models surpass human experts in predicting neuroscience results》的官方开源代码库，旨在评估和比较大型语言模型（LLM）与人类神经科学专家在预测实验结果方面的能力。该工具通过构建结构化的神经科学实验描述（包括背景、方法、结果等），让模型和专家分别预测实验的统计显著性结果，从而量化模型的科学推理水平。核心能力包括：提供标准化的评测数据集和评估脚本，支持多种主流LLM的接入，自动计算准确率并与人类专家表现对比。它解决了如何客观衡量AI在特定科学领域知识掌握程度的问题，为AI科学发现能力的评估提供了可复现的基准。项目目前处于早期阶段，代码结构清晰，但文档和扩展性有待完善。