项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-22 · 当前星标 ★ 830
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 3.10+
- Docker（执行任务）
安装与启动步骤
-
1这是榜单
面向科研场景的终端 Agent 基准，持续更新。
https://github.com/harbor-framework/terminal-bench-science -
2看维度
榜单按学科与任务类型分，先找你的领域。
在页面内搜索：Leaderboard -
3读题面
任务定义在仓库的 tasks 目录，可直接看。
ls tasks -
4本地复现一个
装 harbor 后跑单个任务。
harbor run -p ./tasks/<task> -a oracle
如何确认成功
能跑通一个任务并看到评分输出。
注意事项
- 基准的价值在于横向可比，别只挑对自己有利的子集。
- 科学任务的评测往往依赖数值容差，看评分脚本再下结论。
- 数据集与镜像较大，先看磁盘。
核心亮点
- 任务来自真实科研工作流，覆盖多学科终端操作，比通用编程基准更贴近科研场景
- 提供可扩展的任务注册与自动评分框架，方便研究者加入新学科任务并复现结果
- 基于终端交互执行，能评估智能体的多步规划、命令使用和错误恢复能力
不足之处
- 项目处于早期，任务数量和学科覆盖仍在积累，评测结论的统计效力有限
- 依赖具体终端环境与依赖安装，跨平台复现和任务稳定性需要额外维护
适用场景
- 科研团队评测不同 AI 智能体在化学/生物数据分析流程中的自动化能力
- 模型厂商用该基准展示自家智能体在科学终端任务上的表现
- 研究者基于框架扩展新学科任务，构建自己的科研智能体评测集
替代项目
SWE-bench、AgentBench、ScienceAgentBench
同类项目推荐
Semia
开源
装 AI 技能前先扫一遍，把危险命令挡在门外
Semia, security audit for AI agent skills.
clean-fid
开源
让 FID 分数更可信，生成模型评估不踩坑
PyTorch - FID calculation with proper image resizing and quantization steps [CVPR 20···
compute-eval
开源
用真实编译运行测大模型写 CUDA 代码行不行
Evaluating Large Language Models for CUDA Code Generation ComputeEval is a framework···
AI-Infra-Guard
开源
一键扫描AI全链路，提前揪出安全漏洞
A full-stack AI Red Teaming platform securing AI ecosystems via Agent Scan, Skills S···
crust
开源
给 AI Agent 装上行为拦截闸，危险操作发生前就挡住
Open Source AI Agent Security Infrastructure — intercepts and blocks dangerous agen···
rag-arena
开源
让用户投票，选出最好的 RAG 系统
Open-source RAG evaluation through users' feedback
awesome-direct-preference-optimi···
开源
一网打尽DPO论文与代码，快速入门偏好对齐
A Survey of Direct Preference Optimization (DPO)
TrustLLM
开源
给大模型做全面体检，量化可信度短板
[ICML 2024] TrustLLM: LLM trustworthiness evaluation across truthfulness, safety, fa···
superbenchmark
开源
一键体检 AI 集群，跑分定位硬件瓶颈
A validation and profiling tool for AI infrastructure