项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 1970
使用教程
⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（项目开发语言为 Python）
- 兼容的推理硬件平台：NVIDIA GB200 NVL72 / GB300 NVL72 / B200，或 AMD MI355X（规划支持 TPUv6e/v7、Tr
- 可访问 GitHub 与官方看板的网络环境
- 支持 CUDA（NVIDIA）或对应加速栈的驱动环境
安装与启动步骤
-
1克隆代码仓库
从 GitHub 拉取 InferenceX 仓库到本地，README 未给出其他安装方式，请以仓库内最新文档为准。
git clone https://github.com/SemiAnalysisAI/InferenceX.git -
2进入项目目录
切换到克隆下来的仓库根目录，查看其中是否提供安装与运行脚本。
cd InferenceX -
3阅读中文说明
仓库同时提供中文 README，先通读以确认实际安装步骤与依赖，避免按英文文档误操作。
-
4打开官方看板
无需本地部署也可先通过官方在线看板查看持续基准跑分结果与多模型多硬件对比数据。
如何确认成功
打开 https://inferencex.semianalysis.com/ 能否正常加载基准数据；本地则确认仓库克隆成功且能读到 README_zh.md。
常见问题
Q：README 里没有安装命令怎么办？
A：本教程节选未包含安装说明，仅能给出克隆与查阅文档的准备步骤。请以仓库最新 README 和官网文档为准，不要自行猜测依赖安装命令。
Q：必须有高端 GPU 才能用吗？
A：项目定位是在 GB200 NVL72、MI355X、B200、GB300 NVL72 等平台做大规模推理压测，本地无对应硬件时建议直接看官方在线看板结果。
Q：支持哪些模型？
A：README 提到覆盖 Kimi、MiniMax、DeepSeek、GLM 等主流大模型系列，并持续更新新模型（如 Kimi K3、GLM5.3）的持续基准。
Q：能自己复现跑分吗？
A：项目强调结果可复现的配置管理，但具体复现命令需参考仓库内文档；README 节选中未给出，请查阅仓库说明。
Q：有中文文档吗？
A：有，仓库根目录提供 README_zh.md，可在英文 README 顶部切换至中文版本。
注意事项
- 本教程所依据的 README 节选未包含安装、依赖与运行命令，除 git clone 外的步骤均需以仓库最新文档为准。
- 硬件门槛较高，主要面向数据中心级 GPU 平台，个人环境建议先使用官方在线看板。
- 项目采用 Apache 2.0 开源协议，可自由使用与二次开发。
- 不要凭猜测执行 pip install 或 docker run 等命令，需先在仓库中找到对应说明。
核心亮点
- 覆盖 GB200 NVL72、MI355X、B200、GB300 NVL72 等多种旗舰推理硬件，横向对比数据稀缺且实用
- 支持 Kimi、MiniMax、DeepSeek、GLM 等主流大模型，贴近真实生产模型组合
- 定位持续基准研究平台，强调可复现与回归测试，适合长期跟踪推理性能变化
不足之处
- 项目较新、星标仍在成长中，长期维护与社区生态有待观察
- 依赖高端 GPU/NPU 硬件，普通开发者难以本地复现全部基准
适用场景
- 推理服务团队做 GPU 选型与容量规划
- 硬件厂商验证新卡在主流大模型上的推理表现
- MLOps 团队建立持续推理性能回归监控
替代项目
vLLM、MLPerf Inference
同类项目推荐
awesome_LLM-harmful-fine-tuning-···
开源
一页看全有害微调攻防论文，快速摸清 LLM 安全风险
A survey on harmful fine-tuning attack for large language model (ACM CSUR)
inspect_evals
开源
一行命令跑齐大模型能力与安全评测
Collection of evals for Inspect AI
opik
开源
一站式追踪、评估、监控你的 LLM 应用，从调试到上线全程掌控。
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflo···
empirical
开源
用数据说话，系统化测试评估你的 LLM 应用
Test and evaluate LLMs and model configurations, across all the scenarios that matte···
speech-to-text-benchmark
开源
一套脚本横评各家语音识别，选型不再靠猜
speech to text benchmark framework
Tracely-ai
开源
把生产事故变成回归测试，合并前自动拦截 AI 故障
Trace-native CI/CD for AI agents — production failures become regression tests that···
LLF-Bench
开源
让AI听懂人话反馈，越学越聪明
A benchmark for evaluating learning agents based on just language feedback
Deco
开源
让多模态模型少说瞎话，动态纠错解码即插即用
[ICLR 2025] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation
torch-fidelity
开源
PyTorch 生成模型指标，数值对齐可复现
High-fidelity performance metrics for generative models in PyTorch