项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-07 · 当前星标 ★ 121
核心亮点
- 无需真实 GPU 集群即可离线评估部署配置，降低实验成本
- 同时提供行为预测与配置搜索，覆盖从评估到调优的流程
- Python 实现，便于阅读源码和二次开发
不足之处
- 早期项目，文档与社区生态尚不完善
- 仿真结果与真实集群表现可能存在偏差，需实际验证
适用场景
- 正式部署前做推理服务容量规划
- 对比不同并行度与批大小配置的预期效果
- 在无 GPU 的开发环境中研究服务性能
替代项目
vLLM、TensorRT-LLM
下一篇：Deepthink
同类项目推荐
ollamaMQ
开源
多用户抢本地大模型？按人头公平排队，终端实时看板
High-performance LLM backends proxy with per-user fair-share queuing, round-robin sc···
paddler
开源
自托管 LLM 负载均衡，简单部署，CPU/GPU 通吃
Open-source LLM/VLM load balancer and serving platform for self-hosting LLMs (and VL···
awesome-kubeflow
开源
一站式找到 Kubeflow 生态的优质工具和教程，少走弯路。
A curated list of awesome projects and resources related to Kubeflow (a CNCF incubat···
arcjet-js
开源
给 AI 应用装上安全气囊，防注入、防越权、防泄露
Runtime security for AI apps and agents: prompt injection detection, tool-call autho···
vpod
开源
给 AI 代码执行加个安全壳，防跑飞防破坏
Lightweight, secure Linux sandboxes for untrusted processes. Runs in the browser and···
velobase-harness
开源
把 AI 原型一键变成能收费的 SaaS
All AI developers deserve to get paid. Turn your AI prototype into a paid SaaS with···
spellbook-docker
开源
一条命令拉起本地多模型AI全家桶
AI stack for interacting with LLMs, Stable Diffusion, Whisper, xTTS and many other A···
open-relay
开源
关掉终端，AI 任务继续跑，随时回来接管。
oly runs coding agents and long-running commands in persistent, supervised terminal ···
csghub-server
开源
自建大模型资产平台，统一管模型数据推理微调
csghub-server is the backend server for CSGHub which helps user to manage datasets, ···