get-started

把本地 Ollama 一键变成高可用云服务

get-started 是一个面向 Ollama 的云原生部署堆栈，旨在将本地运行的 Ollama 模型服务扩展到云端。它解决的核心问题是：如何让基于 Ollama 的 LLM 应用具备高可扩展性、高可用性和边缘分发能力。该项目利用 Go 语言构建，整合了 CDN、云计算、分布式计算、边缘计算和 Serverless 等技术，支持 GPU 加速，并兼容 Llama、Llama2、Mistral 等主流模型。其核心能力包括：自动伸缩的模型推理服务、跨地域的边缘节点部署、以及通过云原生方式管理 Ollama 实例。对于希望将本地原型快速推向生产环境、或需要处理高并发请求的开发者，该项目提供了一条从单机到云端的平滑路径。