项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 161
核心亮点
- 用 Go 写成单二进制，部署时无需额外运行时依赖，启动成本低
- 统一封装 llama.cpp、MLX、vLLM 三类后端，对外提供 OpenAI 兼容 API，上层应用改造成本小
- 自带 Web 仪表盘，可直接查看模型进程状态并做启停操作，省去多终端管理
不足之处
- 项目处于早期，星标约 161，文档完整度和社区规模有待观察
- 对三种后端的支持深度可能不一致，MLX 仅适用于 Apple Silicon 环境
适用场景
- 个人开发者在 Mac 上用 MLX 跑模型、在 Linux 服务器上用 vLLM 跑服务，希望统一入口管理
- 团队内部搭建自托管推理服务，需要 OpenAI 兼容接口对接现有应用
- 需要同时对比 llama.cpp 与 vLLM 在同一模型上的推理表现，快速切换后端
替代项目
Ollama、LocalAI、LM Studio
同类项目推荐
MoE-Infinity
开源
把 MoE 大模型塞进小显存，推理快还省钱
PyTorch library for cost-effective, fast and easy serving of MoE models.
Agent-RAG-LLM_deploy
开源
C++ 部署 Agent+RAG+LLM，让大模型应用真正跑进生产环境
vllm-plugin-FL
开源
让 vLLM 一套代码跑多种国产芯片
A vLLM plugin built on the FlagOS unified multi-chip backend.
get-beam
开源
让 GPU 任务像调用 API 一样，按需弹性伸缩，省心省钱。
Run GPU inference and training jobs on serverless infrastructure that scales with yo···
ncnn
开源
手机端跑深度模型，快、小、零依赖
ncnn is a high-performance neural network inference framework optimized for the mobi···
pgvector_pgsql_windows
开源
Windows 上原生跑 pgvector，免 Docker 直接装
pgvector for PostgreSQL Windows (native compiled in Microsoft Windows environment)
Grov
开源
把 AI 会话记忆变成团队共享资产，自动注入省 token 提效率
Grov automatically captures the context from your private AI sessions and syncs it t···
Trae-Proxy
开源
把 OpenAI 请求灵活转发到任意后端，模型路由随心配。
An intelligent API proxy tool designed to intercept and redirect OpenAI API requests···
gateway
开源
一个 API 接入 1600+ 模型，内置安全护栏，AI 应用开发提速。
A blazing fast AI Gateway with integrated guardrails. Route to 1,600+ LLMs, 50+ AI G···