项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 252
技术标签
核心亮点
- 统一封装 llama.cpp、vLLM、TGI、mlx-server 四种运行时，异构硬件一套 API 管理
- 支持 NVIDIA CUDA、AMD Vulkan、Apple Silicon Metal，覆盖 homelab 常见设备
- 提供 OpenAI 兼容端点，现有客户端无需改造即可接入
不足之处
- 项目仅 209 星，处于早期，生产环境稳定性与长期维护待验证
- 异构 GPU 调度和运行时适配的文档与社区案例较少，排错成本可能较高
适用场景
- homelab 玩家在混有 N 卡、A 卡和 Mac mini 的集群上统一部署 LLM
- 中小企业本地机房用 K8s 管理多台 GPU 服务器提供内部推理 API
- 边缘计算场景下按需拉起和缩容模型服务，复用已有 Kubernetes 运维体系
替代项目
KServe、Ray Serve、vLLM Production Stack
上一篇：llm-ollama
下一篇：hpc-ops
同类项目推荐
reader
开源
本地部署，给任意网页加个前缀，秒变LLM可读文本
This is an adapted version of Jina AI's Reader for local deployment using Docker. Co···
tensorlake
开源
一键部署智能体后台任务，沙箱安全执行代码
Tensorlake is a serverless runtime for sandboxes and deploying background agentic ap···
ComfyUI-Windows-Portable
开源
解压即用的 ComfyUI 整合包，省去配置烦恼
ComfyUI standalone pack with 40+ custom nodes. | ComfyUI 大号整合包，预装大量自定义节···
cresset
开源
一键从源码构建任意版本 PyTorch 环境
Template repository to build PyTorch projects from source on any version of PyTorch/···
temps
开源
一个 Rust 二进制，搞定部署、监控、分析和 AI 代理集成
AI-native open-source alternative to Vercel + Sentry + PostHog + Pingdom + Resend + ···
5.0-Ai-Engineering-Toolkit
开源
一套 Python 工具，把 AI 训练到部署的脏活串起来
Engineering toolkit for building scalable AI systems, including model training pipel···
ungate
开源
用订阅账号在 Cursor 里白嫖 AI，省下 API 钱
Use your Claude and ChatGPT subscriptions in Cursor instead of paying for API tokens···
infra
开源
让AI安全执行代码，秒级启动隔离沙箱
The runtime behind every E2B stack: Cloud, Enterprise, and your own machine.
codex-lb
开源
多账户轮询分流，突破 API 限速，用量一目了然
Codex/ChatGPT multiple account load balancer & proxy with usage tracking, dashboard,···