Yatai 是基础设施领域的开源项目,由 bentoml 开发,2021 年首次发布。
在全站 13,014 个收录项目中,它的 GitHub 星标数(839)位列前 30%,在基础设施分类中处于中上游。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-05。
它主要面向的使用场景是:企业内部需要将多个模型统一部署到Kubernetes集群。同类可对比的替代方案包括 Seldon Core、KServe、BentoML。

在 Kubernetes 上轻松规模化部署和运维机器学习模型
Yatai 是一个基于 Kubernetes 的模型部署平台,旨在帮助机器学习团队将训练好的模型规模化地部署到生产环境。它解决了模型从实验到上线过程中面临的部署复杂、资源管理困难、版本迭代频繁等问题。核心能力包括:提供统一的模型部署接口,支持多种推理框架(如 TensorFlow、PyTorch、ONNX 等),自动管理 Kubernetes 资源(如自动扩缩容、负载均衡),内置模型版本管理和灰度发布,以及提供监控和日志收集功能。通过 Yatai,数据科学家和运维人员可以更高效地协作,将模型快速、稳定地对外提供服务。
Seldon Core、KServe、BentoML
Yatai 是基础设施领域的开源项目,由 bentoml 开发,2021 年首次发布。
在全站 13,014 个收录项目中,它的 GitHub 星标数(839)位列前 30%,在基础设施分类中处于中上游。
项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-05。
它主要面向的使用场景是:企业内部需要将多个模型统一部署到Kubernetes集群。同类可对比的替代方案包括 Seldon Core、KServe、BentoML。
freebuff-proxy
开源
聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型,免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···