项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-28 · 当前星标 ★ 402
技术标签
使用教程
环境要求
- Docker + NVIDIA Container Toolkit
- GPU 节点
- 一份 superbench.conf
安装与启动步骤
-
1拉官方镜像
微软维护的镜像，已封装依赖与测试套件
docker pull superbench/superbench:latest -
2校验配置
先 validate，确认 host 列表与测试项写得对
python3 -m superbench validate -
3跑单项基准
比如显存带宽或 GPU 计算，先单测再全跑
python3 -m superbench run -
4跑全量并出报告
全量覆盖计算、通信、IO，结果落成 json 便于横比
python3 -m superbench run --help
如何确认成功
validate 无报错，run 输出的结果 json 里各测试项都有数值而非 skipped。
注意事项
- 它的用途是上训练前的验收：先确认卡、驱动、NVLink/RDMA、磁盘都正常，再谈跑模型。
- 配置文件决定跑哪些项，默认集不含多机 RDMA，跨节点测试要自己加。
- 结果只在与同型号硬件对比时有意义，跨代 GPU 的数字不可横比。
- 容器里要挂 --gpus all，否则 GPU 相关项会全部跳过。
核心亮点
- 覆盖 GPU、网络、存储、CPU 等全栈基准，测试项模块化可组合
- 支持 Azure 与本地集群，输出结构化报告便于横向对比
- 微软维护，与 SuperBench 生态集成，适合集群验收和日常巡检
不足之处
- 文档和示例相对分散，新用户上手需要一定摸索成本
- 社区规模较小，第三方扩展和问题响应速度有待观察
适用场景
- 新购 GPU 服务器到货后，批量验证硬件是否达标
- 云上 AI 集群部署前，做基线性能测试并留存报告
- 训练任务频繁失败时，快速排查是网络、存储还是 GPU 问题
替代项目
MLPerf、NCCL Tests、dcgm
上一篇：keystone-bench
同类项目推荐
awesome-ai-eval
开源
一站式收藏AI评估工具，快速选型不踩坑
Assessing the reliability, accuracy, and safety of large language models, RAG pipeli···
rageval
开源
给RAG系统打分，快速找出效果短板
Evaluation tools for Retrieval-augmented Generation (RAG) methods.
nyt-connections
开源
用759道文字分组谜题，测出大模型的语义推理短板
Benchmark that evaluates LLMs using 759 NYT Connections puzzles extended with extra ···
lighteval
开源
一套配置，多后端跑分，模型对比不再各说各话
Lighteval is your all-in-one toolkit for evaluating LLMs across multiple backends
LLMEvaluation
开源
选对 LLM 评测方法，少走弯路
A comprehensive guide to LLM evaluation methods designed to assist in identifying th···
ResearchClawBench
开源
给AI科研智能体打分，从复现实验到发现新知识
ResearchClawBench: Evaluating AI Agents for Automated Research from Re-Discovery to ···
deepchecks
开源
给 ML 模型和数据做全面体检，从研究到生产持续验证
Deepchecks: Tests for Continuous Validation of ML Models & Data. Deepchecks is a hol···
AwesomeResponsibleAI
开源
一站式导航，快速找到负责任 AI 的权威资源与工具。
A curated list of awesome academic research, books, code of ethics, courses, databas···
FuzzyAI
开源
自动给 LLM 做安全体检，找出越狱漏洞
A powerful tool for automated LLM fuzzing. It is designed to help developers and sec···