项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-23 · 当前星标 ★ 332
核心亮点
- 以 token 为粒度统计首 token 延迟和每 token 间隔，比只看端到端耗时更能暴露推理引擎的真实瓶颈
- 支持自定义输入输出长度分布与并发梯度，可模拟长短混合的真实线上流量
- 指标输出结构化，便于在部署前后做回归对比和推理引擎横向选型
不足之处
- 项目处于早期，星标和社区规模较小，长期维护与生态集成待观察
- 场景配置和结果分析偏脚本化，缺少开箱即用的可视化报告
适用场景
- 推理引擎选型：对比 vLLM、TGI 等在不同并发下的 token 级吞吐与延迟
- 上线前回归：模型或量化版本变更后，验证服务性能没有退化
- 容量规划：按业务输入输出长度分布压测，估算所需 GPU 数量和并发上限
替代项目
vllm、locust
同类项目推荐
TAB
开源
统一评测时间序列异常检测方法，公平对比选最优
[PVLDB 2025] TAB: Unified Benchmarking of Time Series Anomaly Detection Methods
SuperCLUE
开源
测一测中文大模型哪家强，榜单见分晓
SuperCLUE: 中文通用大模型综合性基准 | A Benchmark for Foundation Models in Chinese
auto_LiRPA
开源
给神经网络算严格上下界，验证对抗鲁棒性
auto_LiRPA: An Automatic Linear Relaxation based Perturbation Analysis Library for N···
CipherChat
开源
用密码绕过安全护栏，测出大模型隐藏漏洞
A framework to evaluate the generalization capability of safety alignment for LLMs
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···
semantic-object-accuracy-for-gen···
开源
评估生成图像中对象是否画对了，给文本到图像模型打分。
Code for "Semantic Object Accuracy for Generative Text-to-Image Synthesis" (TPAMI 20···
Video-Bench
开源
用AI自动给视频生成模型打分，快速比出谁更强
Video Generation Benchmark
ADR
开源
给企业 AI 智能体装上安全监控与威胁拦截系统
ADR secures enterprise AI agents through observability, security benchmarking, and t···
crab
开源
跨环境测试你的AI智能体，看它真实干活行不行
️ CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents. htt···