foundation-model-benchmarking-tool

在 AWS 上跑任意模型，一键测出性能选型最优解

这是一个用于基础模型（大模型）基准测试的开源工具，旨在帮助用户在 AWS 云平台上运行任意模型，并对比不同实例类型和服务栈（serving stack）的性能表现。它解决了模型部署选型时缺乏客观、可复现性能数据的问题，核心能力包括：支持在 AWS 各类实例上启动模型、自动化执行推理基准测试、收集延迟和吞吐量等关键指标，并生成对比报告。工具基于 Jupyter Notebook 开发，便于交互式使用和二次开发，适合需要快速评估模型在 AWS 上部署性价比的工程师和架构师。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 256

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队aws-samples

所属国家

官网地址https://aws-samples.github.io/foundation-model-benchmarking-tool

GitHubhttps://github.com/aws-samples/foundation-model-benchmarking-tool

定价模式free

价格说明开源项目，MIT-0许可证，可免费使用和部署，无付费版本。

访问状态

是否开源是

开源协议MIT-0

主要语言Jupyter Notebook

技术栈/模型bedrock,benchmark,benchmarking,deepseek,deepseek-r1,evaluation-metrics,foundation-models,g5,g6,g6e,generative-ai,inferentia,llama2,llama3,p4d,p5,sagemaker,trainium

GitHub 星标★ 256

30天Star增速

HF 下载量

上线时间2024-01-09 00:00:00

最近更新2026-05-12 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

核心亮点

覆盖 AWS 多种实例类型，能直接对比 GPU 和 CPU 的推理性能差异
支持自定义服务栈（如不同推理框架），灵活适配部署方案
基于 Notebook 实现，上手门槛低，便于调试和可视化结果

不足之处

目前仅支持 AWS 平台，未覆盖其他云厂商或本地环境
文档和社区生态尚不成熟，使用中可能需要自行摸索

适用场景

在 AWS 上为模型推理选择最优实例类型
对比不同推理服务框架（如 vLLM、TGI）的性能
模型上线前进行容量规划和成本预估

替代项目

LMDeploy、vLLM benchmark、Hugging Face Optimum

项目介绍

foundation-model-benchmarking-tool 是评测安全领域的开源项目，由 aws-samples 开发，2024 年首次发布。

它收录于评测安全分类，该分类目前共有 466 个项目，GitHub 星标数为 256。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-05-12。MIT-0许可证，可免费使用和部署，无付费版本。

它主要面向的使用场景是：在AWS上为模型推理选择最优实例类型。同类可对比的替代方案包括 LMDeploy、vLLM benchmark、Hugging Face Optimum。

上一篇：VLABench

下一篇：eva