foundation-model-benchmarking-tool

在 AWS 上跑任意模型，一键测出性能选型最优解

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 开源模型 🍴 复刻 43 🐛 待处理 52 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 255
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT-0许可证，可免费使用和部署，无付费版本。

项目预览

foundation-model-benchmarking-tool 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类开源模型
开发团队aws-samples
官网地址https://aws-samples.github.io/foundation-model-benchmarking-tool
GitHubhttps://github.com/aws-samples/foundation-model-benchmarking-tool
定价模式🏷️完全免费
价格说明开源项目，MIT-0许可证，可免费使用和部署，无付费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT-0
主要语言Jupyter Notebook
技术栈/模型bedrock,benchmark,benchmarking,deepseek,deepseek-r1,evaluation-metrics,foundation-models,g5,g6,g6e,generative-ai,inferentia,llama2,llama3,p4d,p5,sagemaker,trainium
GitHub 星标★ 255
上线时间2024-01-09 00:00:00
代码更新2025-04-11
仓库体积98.2 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

这是一个用于基础模型（大模型）基准测试的开源工具，旨在帮助用户在 AWS 云平台上运行任意模型，并对比不同实例类型和服务栈（serving stack）的性能表现。它解决了模型部署选型时缺乏客观、可复现性能数据的问题，核心能力包括：支持在 AWS 各类实例上启动模型、自动化执行推理基准测试、收集延迟和吞吐量等关键指标，并生成对比报告。工具基于 Jupyter Notebook 开发，便于交互式使用和二次开发，适合需要快速评估模型在 AWS 上部署性价比的工程师和架构师。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 255

核心亮点

  • 覆盖 AWS 多种实例类型，能直接对比 GPU 和 CPU 的推理性能差异
  • 支持自定义服务栈（如不同推理框架），灵活适配部署方案
  • 基于 Notebook 实现，上手门槛低，便于调试和可视化结果

不足之处

  • 目前仅支持 AWS 平台，未覆盖其他云厂商或本地环境
  • 文档和社区生态尚不成熟，使用中可能需要自行摸索

适用场景

  • 在 AWS 上为模型推理选择最优实例类型
  • 对比不同推理服务框架（如 vLLM、TGI）的性能
  • 模型上线前进行容量规划和成本预估

替代项目

LMDeploy、vLLM benchmark、Hugging Face Optimum

上一篇：VLABench

下一篇：eva

同类项目推荐

aegis 开源

给大模型装上会自我进化的安全防火墙

Self-hardening firewall for large language models

★ 269 2026-08-09
factualNLG 开源

用新基准测出LLM事实性推理真实水平

Code for the arXiv paper: "LLMs as Factual Reasoners: Insights from Existing Benchma···

★ 60 2026-08-09
trulens 开源

给LLM应用装上仪表盘，量化评估效果，快速定位问题。

Evaluation and Tracking for LLM Experiments and AI Agents

★ 3630 2026-08-09
SWE-bench_Pro-os 开源

用长周期工程任务，真实测出 AI Agent 的软件工程上限

SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?

★ 557 2026-10-01
faster_coco_eval 开源

替换 pycocotools，COCO 评测提速数倍不丢精度

Continuation of an abandoned project fast-coco-eval

★ 148 2026-09-14
system_prompts_leaks 开源

扒开各家 AI 的底牌，看清它怎么想、怎么答

Leaked system prompts of ChatGPT, Claude, Gemini and more. The hidden system prompt ···

★ 71012 2026-08-09
verifywise 开源

一站式搞定 AI 合规审计，轻松应对欧盟 AI 法案等 20+ 法规。

Complete AI governance and LLM Evals platform with support for EU AI Act, ISO 42001,···

★ 374 2026-08-10
Awesome-Embodied-AI-Safety 开源

一网打尽具身AI安全研究，500+论文系统梳理

Safety in Embodied AI: A Survey of Risks, Attacks, and Defenses | 500+ Papers | Perc···

★ 163 2026-08-09