sie

一个服务搞定所有模型,让智能体部署不再头疼

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 333 🐛 待处理 59 👀 关注 39
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3477
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自行部署,完全免费。

项目预览

sie 项目界面预览图
图片来源:项目官网

项目数据

分类开源模型
开发团队superlinked
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自行部署,完全免费。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型bge,colbert,data-pipeline,deep-learning,embeddings,inference,inference-server,information-retrieval,llm,ml,mlops,natural-language-processing,nlp,python,reranking,retrieval,retrieval-augmented-generation,semantic-search,splade,vector-search
GitHub 星标★ 3477
上线时间2023-11-07 00:00:00
代码更新2026-11-07
仓库体积84.6 MB
本站数据更新2026-11-07
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

sie 是一个开源的推理服务器和生产级集群,专为智能体(agent)所需的各类模型提供统一部署和调度。它解决了多模型、多副本在生产环境中难以统一管理的问题,提供了高并发、低延迟的推理服务,支持模型热加载、动态扩缩容和负载均衡。核心能力包括:多模型统一接入、基于 Kubernetes 的集群编排、自动故障恢复、以及针对 LLM 推理优化的批处理和缓存机制。项目使用 Python 编写,接口简洁,易于集成到现有 AI 应用中,适合需要同时运行多个模型(如对话、嵌入、多模态)的智能体平台。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3477

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 20 分钟 部署方式:云服务 4 步

环境要求

  • 一个可用的 Kubernetes 集群(README 示例提供 GKE 专用 values 文件)
  • 已安装并能执行 helm 命令
  • 已配置可访问 oci://ghcr.io 与 raw.githubusercontent.com 的网络
  • 一个 HuggingFace Token(用于拉取模型)

安装与启动步骤

  1. 1准备集群环境

    准备一台可用的 Kubernetes 集群并完成本地 kubectl/Helm 配置;README 示例的 values 文件面向 GKE。

  2. 2获取 HF Token

    到 HuggingFace 生成访问令牌,安装时通过 --set hfToken.value 传入,不能留空。

  3. 3安装 SIE 集群

    用 helm 从 OCI 仓库安装 sie-cluster,创建 sie 命名空间并传入 HF Token 与 GKE values 文件。

    helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster \
      --namespace sie --create-namespace \
      --set hfToken.create=true \
      --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx \
      -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml
  4. 4固定 Chart 版本

    README 建议固定 chart 版本以保证安装可复现,示例版本为 0.6.18,可按需替换。

    helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster \
      --version 0.6.18 \
      --namespace sie --create-namespace \
      --set hfToken.create=true \
      --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx \
      -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml

关键配置

配置项必填说明示例
hfToken.create是是否由 chart 创建存放 HuggingFace Token 的 Secrettrue
hfToken.value是你的 HuggingFace 访问令牌,用于拉取模型hf_xxxxxxxxxxxxxxxxxxxx
namespace否部署所在的 Kubernetes 命名空间sie
SIE_TELEMETRY_DISABLED否设为 1 关闭匿名遥测数据收集1
DO_NOT_TRACK否设为 1 同样可关闭遥测1

如何确认成功

helm 命令无报错返回即表示提交部署成功,可用 kubectl -n sie get pods 查看 Pod 是否进入 Running。

常见问题

Q:如何固定 chart 版本?

A:在 helm upgrade --install 命令中加入 --version 参数,README 给出的可复现示例如 --version 0.6.18。

Q:如何关闭遥测?

A:SIE 默认收集匿名使用数据(版本、系统、架构、GPU 类型),设置环境变量 SIE_TELEMETRY_DISABLED=1 或 DO_NOT_TRACK=1 即可关闭。

Q:HuggingFace Token 怎么传进去?

A:使用 --set hfToken.create=true --set hfToken.value=你的Token 两个参数,把 YOUR_HF_TOKEN 替换为真实令牌。

Q:非 GKE 集群能用吗?

A:README 只提供了 values-gke.yaml,其他环境的部署方式请参考官方部署指南 superlinked.com/docs/deployment/。

注意事项

  • 安装前必须准备可用的 HuggingFace Token,否则模型无法拉取。
  • README 示例使用 GKE 专用 values 文件,其他集群需参考官方部署指南调整。
  • SIE 默认开启匿名遥测,但不收集 IP、主机名与请求数据,可通过环境变量关闭。
  • 建议用 --version 固定 chart 版本,避免后续升级带来的不可复现问题。

核心亮点

  • 统一管理多个模型,支持动态加载和切换,避免为每个模型单独部署服务
  • 基于 Kubernetes 的集群能力,自动扩缩容和故障转移,生产可用性高
  • 针对 LLM 推理优化,支持批处理和缓存,降低延迟和成本

不足之处

  • 文档/社区待观察
  • 尚处成长阶段,生态和插件不如成熟项目丰富

适用场景

  • 智能体应用需要同时调用多个不同模型(如对话、分类、嵌入)
  • 高并发推理场景,需要弹性伸缩和负载均衡
  • 企业内部统一模型服务,降低运维成本

替代项目

vLLM、Triton Inference Server、Ray Serve

上一篇:OM1

下一篇:evadb

同类项目推荐

bifrost 开源

高并发场景下,用 Bifrost 统一管理千款模型,延迟微秒级,成本一目了然。

Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway···

★ 9424 2026-08-09
VectorCode 开源

给代码建索引,让 LLM 更懂你的仓库

A code repository indexing tool to supercharge your LLM experience.

★ 873 2026-08-09
myapi 开源

一个终端,搞定网站、后端和支付,快速落地真实业务。

The unified API for autonomous companies. Ship a real business — website, backend, ···

★ 83 2026-08-09
freebucks-proxy 开源

多账号池化 OpenAI 网关,编码模型调用不再被限流卡住

Archived; no longer maintained.

★ 298 2026-09-21
NadirClaw 开源

自动分流简单/复杂请求,AI API 账单直降四到七成

Source-available LLM router and AI cost optimizer. Routes simple prompts to cheap or···

★ 662 2026-09-16
tart 开源

在 Apple Silicon 上秒级拉起 macOS/Linux 虚拟机跑 CI

macOS and Linux VMs on Apple Silicon to use in CI and other automations

★ 7815 2026-10-26
casadi 开源

写符号表达式,自动求导并生成优化代码

CasADi is a symbolic framework for numeric optimization implementing automatic diffe···

★ 2332 2026-10-04
ctransformers 开源

在 Python 里直接跑 GGML 量化模型,本地推理又快又省资源。

Python bindings for the Transformer models implemented in C/C++ using GGML library.

★ 1887 2026-08-09
domino-research 开源

拿来即用的企业级数据科学实验管理工具箱

Projects developed by Domino's R&D team

★ 77 2026-08-09