项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 181
技术标签
核心亮点
- 原生整合 Ollama，迁移成本低
- 利用边缘计算和 CDN 降低推理延迟
- 基于 Go 实现，性能与并发处理能力强
不足之处
- 文档/社区待观察
适用场景
- 将本地 Ollama 原型部署为生产级云服务
- 需要跨地域低延迟的 LLM 推理服务
- 构建高并发、可弹性伸缩的 LLM 应用后端
替代项目
Ollama、vLLM、LocalAI
上一篇：sd4j
下一篇：spellbook-docker
同类项目推荐
IAGA-Sentinel
开源
给AI智能体装个哨兵，实时监控安全与行为
IAGA Sentinel sits next to your AI agents and answers the one question the agent its···
llmaz
开源
在 K8s 上一键部署多种 LLM 推理服务
☸️ Easy, advanced inference platform for large language models on Kubernetes. Sta···
os
开源
像 cPanel 一样管服务器，容器化建站还能让 AI 代劳
Host-in-a-box. cPanel-like UX, Docker portability, agent-ready.
AgentMeasure
开源
把 Agent 的真实表现和商业价值，用一把尺子量清楚。
AI financial audit and task economics: connect usage, supplier charges and business ···
TriviumDB
开源
一个内核搞定向量、图、文档，写入即用
A lightweight embedded database engine that natively fuses vector search, graph, and···
dstoolkit-mlops-databricks
开源
统一 Databricks 与 Azure ML，一键搭建 MLOps 流水线
ML Ops Accelerator: Databricks & Azure Machine Learning Unification
ai-memory-gateway
开源
给任何AI加上长期记忆，改个接口就行
给AI加长期记忆的轻量网关 / A lightweight gateway that adds long-term memory to any L···
oss-llmops-stack
开源
一套组合拳，搞定 LLM 应用的路由、监控与调优
Modular, open source LLMOps stack that separates concerns: LiteLLM unifies LLM APIs,···
milvus
开源
海量向量秒级搜索，轻松构建 AI 应用
Milvus is a high-performance, cloud-native vector database built for scalable vector···