项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-26 · 当前星标 ★ 202
核心亮点
- 提供跨框架的统一基准流程，减少手工搭测试环境的工作量
- 聚焦吞吐与延迟等可量化指标，调优结论有数据支撑
- Python 实现，接入现有推理服务与脚本较方便
不足之处
- 早期项目，框架覆盖与接口稳定性有待观察
- 文档与社区规模较小，遇到问题可参考的案例有限
适用场景
- 上线前对比不同推理框架在同一模型上的性能表现
- 调整批大小、量化等参数时做回归基准测试
- 为推理服务选型提供可复现的性能数据
替代项目
vLLM、LMDeploy、locust
同类项目推荐
nodedb
开源
给 AI 智能体装上持久记忆，边缘到云端无缝同步
The memory & storage engine for AI agents. Multi-model, edge-to-cloud, PostgreSQL-co···
langtrace
开源
一键接入，实时追踪 LLM 应用全链路，调试评估不再抓瞎。
Langtrace is an open-source, Open Telemetry based end-to-end observability tool fo···
ai-gateway
开源
一个网关管所有AI大模型，统一接入、限流、控成本
Manages Unified Access to Generative AI Services built on Envoy Gateway
TensorRT-Edge-LLM
开源
在边缘设备上跑大模型，C++ 推理又快又省显存
High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI
csghub
开源
自建 Hugging Face，私有化掌控模型全生命周期
CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenC···
agentsecrets
开源
让 AI 代理安全使用凭证，无需泄露秘密
Zero-knowledge credentials infrastructure built for AI agents to operate, not just c···
byok-relay
开源
前端直连大模型，用户自带密钥，绕过 CORS 限制
Bring your own key (BYOK) relay to enable lightweight frontend-only apps to use LLMs···
llm-ollama
开源
一条命令把本地 Ollama 模型接入 LLM 工具链
LLM plugin providing access to models running on an Ollama server
aegis-stack
开源
快速搭建生产级 FastAPI 搜索知识平台
A production-ready FastAPI platform with modular components and a built-in control p···