sie

一个服务搞定所有模型，让智能体部署不再头疼

sie 是一个开源的推理服务器和生产级集群，专为智能体（agent）所需的各类模型提供统一部署和调度。它解决了多模型、多副本在生产环境中难以统一管理的问题，提供了高并发、低延迟的推理服务，支持模型热加载、动态扩缩容和负载均衡。核心能力包括：多模型统一接入、基于 Kubernetes 的集群编排、自动故障恢复、以及针对 LLM 推理优化的批处理和缓存机制。项目使用 Python 编写，接口简洁，易于集成到现有 AI 应用中，适合需要同时运行多个模型（如对话、嵌入、多模态）的智能体平台。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3308

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队superlinked

所属国家

官网地址https://superlinked.com

GitHubhttps://github.com/superlinked/sie

定价模式free

价格说明开源项目，Apache-2.0 许可证，可自行部署，完全免费。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型bge,colbert,data-pipeline,deep-learning,embeddings,inference,inference-server,information-retrieval,llm,ml,mlops,natural-language-processing,nlp,python,reranking,retrieval,retrieval-augmented-generation,semantic-search,splade,vector-search

GitHub 星标★ 3308

30天Star增速

HF 下载量

上线时间2023-11-07 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：高级约 20 分钟部署方式：云服务 4 步

环境要求

一个可用的 Kubernetes 集群（README 示例提供 GKE 专用 values 文件）
已安装并能执行 helm 命令
已配置可访问 oci://ghcr.io 与 raw.githubusercontent.com 的网络
一个 HuggingFace Token（用于拉取模型）

安装与启动步骤

1准备集群环境

准备一台可用的 Kubernetes 集群并完成本地 kubectl/Helm 配置；README 示例的 values 文件面向 GKE。
2获取 HF Token

到 HuggingFace 生成访问令牌，安装时通过 --set hfToken.value 传入，不能留空。

3安装 SIE 集群

用 helm 从 OCI 仓库安装 sie-cluster，创建 sie 命名空间并传入 HF Token 与 GKE values 文件。

helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster 
  --namespace sie --create-namespace 
  --set hfToken.create=true 
  --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx 
  -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml

4固定 Chart 版本

README 建议固定 chart 版本以保证安装可复现，示例版本为 0.6.18，可按需替换。

helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster 
  --version 0.6.18 
  --namespace sie --create-namespace 
  --set hfToken.create=true 
  --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx 
  -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml

关键配置

配置项	必填	说明	示例
`hfToken.create`	是	是否由 chart 创建存放 HuggingFace Token 的 Secret	`true`
`hfToken.value`	是	你的 HuggingFace 访问令牌，用于拉取模型	`hf_xxxxxxxxxxxxxxxxxxxx`
`namespace`	否	部署所在的 Kubernetes 命名空间	`sie`
`SIE_TELEMETRY_DISABLED`	否	设为 1 关闭匿名遥测数据收集	`1`
`DO_NOT_TRACK`	否	设为 1 同样可关闭遥测	`1`

如何确认成功

helm 命令无报错返回即表示提交部署成功，可用 kubectl -n sie get pods 查看 Pod 是否进入 Running。

常见问题

Q：如何固定 chart 版本？

A：在 helm upgrade --install 命令中加入 --version 参数，README 给出的可复现示例如 --version 0.6.18。

Q：如何关闭遥测？

A：SIE 默认收集匿名使用数据（版本、系统、架构、GPU 类型），设置环境变量 SIE_TELEMETRY_DISABLED=1 或 DO_NOT_TRACK=1 即可关闭。

Q：HuggingFace Token 怎么传进去？

A：使用 --set hfToken.create=true --set hfToken.value=你的Token 两个参数，把 YOUR_HF_TOKEN 替换为真实令牌。

Q：非 GKE 集群能用吗？

A：README 只提供了 values-gke.yaml，其他环境的部署方式请参考官方部署指南 superlinked.com/docs/deployment/。

注意事项

安装前必须准备可用的 HuggingFace Token，否则模型无法拉取。
README 示例使用 GKE 专用 values 文件，其他集群需参考官方部署指南调整。
SIE 默认开启匿名遥测，但不收集 IP、主机名与请求数据，可通过环境变量关闭。
建议用 --version 固定 chart 版本，避免后续升级带来的不可复现问题。

核心亮点

统一管理多个模型，支持动态加载和切换，避免为每个模型单独部署服务
基于 Kubernetes 的集群能力，自动扩缩容和故障转移，生产可用性高
针对 LLM 推理优化，支持批处理和缓存，降低延迟和成本

不足之处

文档/社区待观察
尚处成长阶段，生态和插件不如成熟项目丰富

适用场景

智能体应用需要同时调用多个不同模型（如对话、分类、嵌入）
高并发推理场景，需要弹性伸缩和负载均衡
企业内部统一模型服务，降低运维成本

替代项目

vLLM、Triton Inference Server、Ray Serve

项目介绍

sie 是基础设施领域的开源项目，由 superlinked 开发，2023 年首次发布。

在全站 13,014 个收录项目中，它的 GitHub 星标数（3,308）位列前 30%，在基础设施分类中处于中上游。

近 42 天，它的 GitHub 星标从 2,774 增加到 3,308，净增 534。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0 许可证，可自行部署，完全免费。

它主要面向的使用场景是：智能体应用需要同时调用多个不同模型（如对话、分类、嵌入）。同类可对比的替代方案包括 vLLM、Triton Inference Server、Ray Serve。

上一篇：OM1

下一篇：evadb

sie