inference-perf

给大模型推理服务做压测，量化吞吐延迟

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 265

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类评测安全

开发团队kubernetes-sigs

所属国家

官网地址

GitHubhttps://github.com/kubernetes-sigs/inference-perf

定价模式free

价格说明开源免费工具，无付费版本

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型k8s-sig-scalability

GitHub 星标★ 265

30天Star增速

HF 下载量

上线时间2025-01-14 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-19

浏览次数0

项目介绍

inference-perf 是 Kubernetes SIG Scalability 生态下的 GenAI 推理性能基准测试工具，用 Python 编写。它要解决的问题是：大模型推理服务上线前后，缺乏统一、可复现的方法来衡量吞吐、延迟、并发等关键指标。工具通过定义负载生成策略、请求模式和指标采集流程，对推理服务施加可控压力，输出结构化性能数据，便于横向对比不同模型、框架或部署配置的表现。核心能力包括可配置的负载场景、标准化指标采集、结果可复现，以及与 K8s 场景的衔接，适合在集群环境中做容量评估和回归测试。项目星标约 265，处于早期阶段，接口和文档可能仍在演进，适合愿意跟进上游变化的团队试用。