ollamaMQ

多用户抢本地大模型？按人头公平排队，终端实时看板

开源 free 基础设施

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 128

维护状态活跃

是否开源是

定价模式 free

项目预览

项目数据

分类基础设施

开发团队Chleba

所属国家

官网地址

GitHubhttps://github.com/Chleba/ollamaMQ

定价模式free

价格说明开源免费，无在线服务

访问状态

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型fair-share,llm-ops,message-queue,ollama,openai-compatible,proxy,rust,tui

GitHub 星标★ 128

30天Star增速

HF 下载量

上线时间2026-02-27 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-15

浏览次数0

项目介绍

ollamaMQ 是一个用 Rust 编写的高性能 LLM 后端代理，位于客户端与 Ollama、OpenAI 兼容接口等推理服务之间。它解决的核心问题是：多个用户或应用同时调用本地大模型时，请求会互相抢占资源，导致个别用户被长时间阻塞、GPU 利用率忽高忽低。ollamaMQ 引入按用户维度的公平份额队列（fair-share queuing），保证每个用户都能分到合理比例的推理吞吐，同时用轮询调度在多个后端实例间均衡负载。它提供实时 TUI 仪表盘，可直接在终端查看队列长度、各用户占用、后端健康状态和请求延迟。对团队自建 LLM 服务、需要多租户隔离或想在多张 GPU 间做调度的场景，它相当于一个轻量的推理网关，无需引入重型服务网格即可获得排队、限流与可观测性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

按用户公平份额排队，避免单个用户刷爆后端导致他人饿死
轮询调度多个 Ollama/OpenAI 兼容后端，提升多实例利用率
Rust 实现，性能开销低，适合作为常驻代理层

不足之处

项目处于早期，星标仅 128，生产环境验证案例有限
公平份额与调度的配置项、持久化与鉴权能力可能尚不完善

适用场景

团队共享一台或多台 GPU 服务器跑 Ollama，需要防止某个成员占满资源
为内部多个应用提供统一 LLM 入口，并按应用维度做排队与限流
在终端环境快速查看推理请求排队情况和后端负载，无需部署 Prometheus/Grafana

替代项目

LiteLLM、OpenRouter 自托管替代如 Portkey Gateway、vLLM 自带的多租户调度

上一篇：Awesome-Ollama-Server

下一篇：Ollama-For-AMD-Installer