llm-d-inference-sim
不装 GPU 不跑模型，秒起一个假 vLLM 服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 230
核心亮点
- 纯 Go 实现，单二进制启动，无需 GPU 和模型权重，CI 里也能跑
- 对外接口对齐 vLLM，客户端和网关代码不用改就能切换测试
- 可配置延迟、并发、流式输出等行为，方便复现超时、重试、限流等边界场景
不足之处
- 仅模拟行为，不产生真实 token 质量，无法用于效果评估
- 项目处于孵化早期，星标少，接口覆盖面和长期维护待观察
适用场景
- 在 CI 中压测推理网关、路由和负载均衡逻辑
- 本地开发调试流式 SSE 协议、超时与重试策略
- 在 Kubernetes/llm-d 环境中做端到端联调，替代真实推理后端
替代项目
vLLM、TGI、Ollama
上一篇：clewdr
下一篇：llm-on-openshift
同类项目推荐
Nubase
开源
把 AI 写的代码变成能跑的真应用，一站式后端服务
Turn AI-written code into real apps. Nubase is an open-source, AI-native backend pla···
ai-on-openshift
开源
在OpenShift上快速部署AI工作负载，参考架构即拿即用。
AI-on-OpenShift website source code
mega
开源
为 AI 代理打造的 Git 兼容 monorepo 引擎，让大规模协作更高效。
Mega is an open-source implementation of Google Piper — a Git-compatible monorepo e···
llama-cpp-docker
开源
一条命令在 Docker 里跑起 GPU 加速的本地大模型
Run llama.cpp in a GPU accelerated Docker container
OpenLLM
开源
开源大模型一键变成标准接口，部署上线像点外卖
Run any open-source LLMs, such as DeepSeek and Llama, as OpenAI compatible API endpo···
MLOps
开源
跟着示例，快速上手机器学习运维全流程
MLOps examples
portkey-python-sdk
开源
一键接入多模型，让 AI 应用稳定又安全
Build reliable, secure, and production-ready AI apps easily.
JetStream
开源
在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
casdoor
开源
为 AI Agent 和 MCP 提供一站式身份认证与授权网关
An open-source Agent-first Identity and Access Management (IAM) /LLM MCP & agent gat···