LLMServingSim

不买卡也能仿真 LLM 推理集群的吞吐与延迟

开源 🏷️定价信息待确认 ✅ 目前可打开基础设施 🍴 复刻 127 🐛 待处理 11 👀 关注 10

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 454

维护状态活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

LLMServingSim 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队casys-kaist

官网地址https://llmservingsim.ai

GitHubhttps://github.com/casys-kaist/LLMServingSim

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 454

上线时间2024-07-23 00:00:00

代码更新2026-11-02

仓库体积74.6 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

LLMServingSim 2.0 是一个面向大语言模型（LLM）推理服务基础设施的仿真器，专为异构硬件与分离式（disaggregated）部署场景设计。它解决的核心问题是：在真实集群上评估 LLM 服务系统（如调度策略、并行方案、PD 分离架构）成本高、周期长、难以复现。该工具通过建模 GPU/加速器、内存、网络带宽与延迟，模拟请求在 prefill 与 decode 阶段的执行与调度过程，从而在不依赖真实硬件的情况下预测吞吐、延迟与资源利用率。它支持异构设备组合与分离式架构，便于研究人员快速对比不同系统设计，降低实验门槛，并为生产部署提供容量规划参考。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 454

使用教程

难度：高级约 60 分钟部署方式：容器部署 4 步

环境要求

Docker
C++ 构建工具链
足够的内存

安装与启动步骤

1递归拉子模块

它依赖两个上游模拟器，不加 --recurse-submodules 会缺组件。
```
git clone --recurse-submodules https://github.com/casys-kaist/LLMServingSim.git
```
2先编核心组件

编译脚本会构建上游的仿真器，耗时较长且依赖多。
```
./scripts/compile.sh
```
3起仿真容器

官方推荐容器方式，避免本机环境差异。
```
./scripts/docker-sim.sh
```
4跑自带示例

仓库里有现成配置，先跑通再换成自己的硬件拓扑。
```
./serving/run.sh
```