openmodelz

给 LLM 推理装上自动挡，流量波动也不怕，按需伸缩省成本。

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 26 🐛 待处理 23 👀 关注 7
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 282
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目，Apache-2.0 许可证，可自行部署使用，无收费版本。

项目预览

openmodelz 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队tensorchord
官网地址https://docs.open.modelz.ai
GitHubhttps://github.com/tensorchord/openmodelz
定价模式🏷️完全免费
价格说明开源项目，Apache-2.0 许可证，可自行部署使用，无收费版本。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型cluster-manager,hacktoberfest,inference,llm,llmops,mlops
GitHub 星标★ 282
上线时间2023-07-13 00:00:00
代码更新2023-11-03
仓库体积1.0 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

openmodelz 是一个面向 LLM 推理场景的自动伸缩基础设施，基于 Kubernetes 构建，支持 vLLM、SGLang、LMDeploy 等主流推理引擎。它解决了 LLM 推理服务在流量波动下资源利用率低、扩缩容不及时的问题，通过智能的自动伸缩策略，根据请求负载动态调整推理副本数，在保证服务稳定性的同时显著降低算力成本。核心能力包括：与 Kubernetes 原生集成，支持多种推理引擎的统一部署和管理，提供基于指标的自动伸缩、优雅的扩缩容机制以及服务发现和负载均衡。项目采用 Go 语言开发，当前处于早期阶段，星标数 282，适合对 LLM 推理成本敏感且已有 Kubernetes 基础设施的团队探索使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 282

核心亮点

  • 原生支持 vLLM、SGLang、LMDeploy 等主流推理引擎，无需改造即可接入
  • 基于 Kubernetes 构建，天然复用云原生生态，部署和运维成本低
  • 自动伸缩策略针对 LLM 推理特性优化，能快速响应流量变化，避免资源浪费

不足之处

  • 项目处于早期阶段（星标 282），功能完整性和稳定性有待验证
  • 文档和社区生态尚不完善，上手可能需要一定探索成本

适用场景

  • 在 Kubernetes 集群上部署 LLM 推理服务，需要根据请求量自动扩缩容以节省成本
  • 多模型混合部署场景，需要统一管理不同推理引擎的伸缩策略
  • 对推理延迟敏感的业务，需要快速扩容以应对突发流量

替代项目

KServe、BentoML、Ray Serve

上一篇：ray_vllm_inference

下一篇：WebextLLM

同类项目推荐

polyaxon 开源

一站式管理AI实验、训练与部署，让团队协作更高效。

AI Infra / AI Orchestration / AI Control Plane

★ 3747 2026-08-09
mlx-serve 开源

在 Mac 上原生跑 LLM，兼容 OpenAI/Anthropic API，无需 Python

Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No···

★ 2416 2026-08-09
gemini-web2api-go 开源

把 Gemini 网页变成 OpenAI 接口，改个地址就能用

Gemini web → OpenAI-compatible + native Gemini API, self-hosted, no API key. Gemini···

★ 828 2026-10-06
vllm-backport 开源

让旧显卡也能跑新版 vLLM 推理

Dogfooding vLLM backport for older GPUs.

★ 360 2026-10-14
Mooncake 开源

用缓存复用和分离式调度，让大模型服务又快又省

Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonsho···

★ 7015 2026-08-09
nexus-llm-router 开源

一个接口接入所有大模型，自动选最优，省钱又省心

Drop-in LLM router and AI gateway speaking OpenAI Chat Completions, OpenAI Responses···

★ 122 2026-08-09
FreeToken 开源

在桌面端跑起数据中心级大模型，又快又省资源

FreeToken brings datacenter-scale model serving to your desktop. Run massive models ···

★ 16975 2026-09-09
qwen.cpp 开源

用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。

C++ implementation of Qwen-LM

★ 626 2026-08-09