项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 156
核心亮点
- 把模型与参数配置抽象为可复用的 uBenchmark 单元，便于组合出贴近实际业务的端到端测试
- 统一评测口径，减少各团队自写脚本导致的结果不可比问题
- 同时覆盖训练与推理两类负载，可用于平台选型和版本回归对比
不足之处
- 项目处于早期，基准覆盖范围与文档完整度有限，部分模型和框架可能尚无现成用例
- 社区规模小，遇到问题可参考的案例和讨论较少
适用场景
- GPU/加速卡选型时横向对比不同硬件的训练与推理吞吐
- 框架或驱动升级后做性能回归验证，确认无退化
- 为内部 AI 平台建立标准化性能基线并持续跟踪
替代项目
MLPerf、DeepBench、triton-inference-server
上一篇：ProteinWorkshop
下一篇：bla
同类项目推荐
LettuceDetect
开源
定位 RAG 回答里哪句话没依据，span 级揪出幻觉
Span-level grounding verification for RAG, code, and tool-grounded AI outputs.
evals-skills
开源
跟着课程搭 LLM 评测体系，把主观质量变成可复现指标
Skills for AI Evals to compliment the course: AI Evals For Engineers & PMs
garak
开源
给大模型做安全体检，一键扫描漏洞并生成报告
the LLM vulnerability scanner
llm-leaderboard
开源
一站式对比LLM基准分数和价格，快速选型
A comprehensive set of LLM benchmark scores and provider prices. (deprecated, read m···
GenAI-LLM-Top10
开源
对照 OWASP 清单，快速排查大模型应用安全风险
OWASP Top 10 for Large Language Model Applications
Object-Detection-Metrics
开源
一键计算目标检测的 mAP，公平对比模型性能
Most popular metrics used to evaluate object detection algorithms.
awesome-language-model-analysis
开源
一份论文清单，帮你快速摸清大模型分析的研究脉络。
This paper list focuses on the theoretical and empirical analysis of language models···
StreamEval
开源
给流式交互视频生成立一把可复现的评测尺
The first-ever interactive streaming video generation benchmark.
Diffusion-MU-Attack
开源
快速攻破遗忘扩散模型，测出安全漏洞
The official implementation of ECCV'24 paper "To Generate or Not? Safety-Driven Unle···