seldon-core

K8s 上大规模部署、监控和管理生产级 ML 模型

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 858 🐛 待处理 395 👀 关注 84
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 4785
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源框架,本地部署,完全免费。

项目预览

seldon-core 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队SeldonIO
定价模式🏷️完全免费
价格说明开源框架,本地部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Go
技术栈/模型aiops,deployment,kubernetes,machine-learning,machine-learning-operations,mlops,production-machine-learning,serving
GitHub 星标★ 4785
上线时间2017-12-20 00:00:00
代码更新2026-03-23
仓库体积246.0 MB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

Seldon Core 是一个用于打包、部署、监控和管理生产环境中机器学习模型的开源 MLOps 框架。它解决了将训练好的模型(如 TensorFlow、PyTorch、Scikit-learn 等)快速、可扩展地部署为微服务的问题,并提供了完整的生命周期管理。核心能力包括:支持多种模型格式和自定义推理服务器,提供 A/B 测试、金丝雀发布、多臂老虎机等高级部署策略,内置监控和可观测性(如 Prometheus 指标、日志),并支持与 Kubernetes 生态(如 Istio、Knative)深度集成,实现自动扩缩容和流量管理。通过 Seldon Core,数据科学家和平台工程师可以统一管理大规模模型服务,降低运维复杂度,提升模型上线效率和稳定性。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 4785

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:高级 约 30 分钟 部署方式:云服务 5 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • 一个可用的 Kubernetes 集群(README 明确 Seldon Core 2 运行在 Kubernetes 中)
  • 可访问互联网,用于拉取镜像与查看官方文档
  • 具备 kubectl 等 Kubernetes 基本运维能力(README 未列出具体版本要求)

安装与启动步骤

  1. 1阅读官方安装文档

    README 把安装说明全部放在官方文档里,先打开 Installation 页面确认当前版本要求的 Kubernetes 版本和安装方式。

  2. 2准备 Kubernetes 集群

    按文档准备一个可用的 K8s 集群(自建或任意云厂商均可,README 提到支持本地部署或任意云)。

  3. 3获取项目源码

    克隆仓库以便查看示例与清单文件;README 本身未给出安装命令,安装仍需以官方文档为准。

    git clone https://github.com/SeldonIO/seldon-core.git
  4. 4按文档安装 Core 2

    严格按 Installation 文档给出的步骤在集群中安装 Seldon Core 2 组件,不要自行猜测命名空间或参数。

  5. 5部署模型与推理服务器

    安装完成后参考 Servers、Models 章节,选择对应模型格式的推理服务器部署你的第一个模型。

如何确认成功

按官方文档完成安装后,确认 Kubernetes 集群中 Seldon Core 2 的相关组件已正常运行,即可进入 Models 章节部署模型验证。

常见问题

Q:必须要有 Kubernetes 吗?

A:是。README 明确说明 Seldon Core 2 是用于在 Kubernetes 中部署、管理和扩展 AI 系统的框架,没有 K8s 环境无法使用。

Q:具体安装命令在哪里?

A:README 未提供安装命令,全部安装步骤在官方文档 https://docs.seldon.ai/seldon-core-2/installation/installation ,请以该页面为准。

Q:支持哪些模型类型?

A:README 称支持多种模型类型,官方文档的 Servers 章节列出了可用推理服务器,可按模型框架选择对应服务器。

Q:可以用于商业用途吗?

A:README 提示商业用途请联系 Seldon,可访问官网 https://www.seldon.io/ 获取商业支持信息。

Q:和旧版 Seldon Core 有什么区别?

A:当前仓库主推 Seldon Core 2,文档地址为 docs.seldon.ai/seldon-core-2,请勿混用旧版文档中的安装方式。

注意事项

  • 本教程基于 README 节选,README 未给出任何安装命令,实际安装必须以官方文档为准。
  • Seldon Core 2 依赖 Kubernetes,建议先具备集群与 kubectl 使用经验再动手。
  • 功能涉及 Pipelines、Experiments、性能调优等,可分别查阅文档对应章节。
  • 注意区分 Seldon Core 1 与 Core 2 的文档与安装方式,避免混用。

核心亮点

  • 原生支持 Kubernetes,与 Istio、Knative 等无缝集成,部署策略丰富
  • 支持多种主流 ML 框架和自定义模型服务器,灵活性高
  • 内置监控和可观测性,提供 Prometheus 指标和日志,便于运维

不足之处

  • 配置和上手门槛较高,需要熟悉 Kubernetes 和云原生概念
  • 文档和社区活跃度相比同类项目有待提升

适用场景

  • 企业级 ML 平台建设,统一管理多种模型服务
  • 需要高级部署策略(如 A/B 测试、金丝雀发布)的在线推理场景
  • 基于 Kubernetes 的微服务架构中集成模型推理

替代项目

KServe、BentoML、Ray Serve

上一篇:darwin

下一篇:clearml-serving

同类项目推荐

infinity 开源

为LLM应用而生的极速混合搜索数据库,毫秒级检索知识

The AI-native database built for LLM applications, providing incredibly fast hybrid ···

★ 4762 2026-08-09
ODS 开源

一键将电脑变成全能 AI 服务器,本地运行 LLM、语音、图像与自动化。

ODS V3 Pre-Release: Public testing and refinement ahead of the official V3 launch. T···

★ 7801 2026-08-09
claude-tap 开源

本地拦截 AI 编程代理流量,可视化调试每个 API 调用

Intercept and inspect Coding Agent API traffic from Claude Code, Codex CLI, Gemini C···

★ 3329 2026-08-09
tiny-vllm 开源

用 C++/CUDA 手写一个能跑的迷你 vLLM

Build your own high performance LLM inference engine in C++ and CUDA - a smaller ver···

★ 1185 2026-09-16
Star-Attention 开源

长序列推理提速,让大模型轻松处理超长文本。

Efficient LLM Inference over Long Sequences

★ 392 2026-08-09
opennhp 开源

让未认证流量看不见,验证通过才放行

Make your infrastructure invisible to attackers. OpenNHP implements the Network-infr···

★ 13951 2026-10-17
toolport 开源

一个端口管所有 AI 工具,省 token 又安全

Local-first MCP gateway. Set up MCP servers once and use them in every AI client, wi···

★ 238 2026-08-09
Routerly 开源

换一个 URL,自动选最划算的 AI 模型

Self-hosted LLM gateway that routes requests across AI providers (OpenAI, Anthropic,···

★ 111 2026-08-09
anti-api 开源

把 Copilot/Codex 变成标准 API,本地一跑就能接 Claude Code

Turn Antigravity / codex / github copilot into Anthropic & Openai API compatible ser···

★ 519 2026-09-15