llm-d-inference-sim

不装 GPU 不跑模型，秒起一个假 vLLM 服务

llm-d-inference-sim 是一个用 Go 编写的轻量级推理模拟器，目标是复刻 vLLM 的对外行为，让开发者无需 GPU、无需加载真实大模型，就能在本地或 CI 环境跑通推理链路。它对外暴露与 vLLM 兼容的 HTTP 接口，支持配置模型名、并发数、吞吐延迟、流式输出等参数，并按设定的时序返回模拟的 token 流。核心价值在于把「依赖重型硬件和真实权重」的推理服务替换成可脚本化、可复现的假服务，用于压测客户端、验证网关与路由、调试流式协议、测试超时与重试逻辑，以及在 Kubernetes/llm-d 这类编排环境中做端到端联调。项目处于孵化阶段，代码量小、启动快，适合作为推理基础设施的测试替身。