项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3477
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 一个可用的 Kubernetes 集群(README 示例提供 GKE 专用 values 文件)
- 已安装并能执行 helm 命令
- 已配置可访问 oci://ghcr.io 与 raw.githubusercontent.com 的网络
- 一个 HuggingFace Token(用于拉取模型)
安装与启动步骤
-
1准备集群环境
准备一台可用的 Kubernetes 集群并完成本地 kubectl/Helm 配置;README 示例的 values 文件面向 GKE。
-
2获取 HF Token
到 HuggingFace 生成访问令牌,安装时通过 --set hfToken.value 传入,不能留空。
-
3安装 SIE 集群
用 helm 从 OCI 仓库安装 sie-cluster,创建 sie 命名空间并传入 HF Token 与 GKE values 文件。
helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster \ --namespace sie --create-namespace \ --set hfToken.create=true \ --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx \ -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml -
4固定 Chart 版本
README 建议固定 chart 版本以保证安装可复现,示例版本为 0.6.18,可按需替换。
helm upgrade --install sie-cluster oci://ghcr.io/superlinked/charts/sie-cluster \ --version 0.6.18 \ --namespace sie --create-namespace \ --set hfToken.create=true \ --set hfToken.value=hf_xxxxxxxxxxxxxxxxxxxx \ -f https://raw.githubusercontent.com/superlinked/sie/main/deploy/helm/sie-cluster/values-gke.yaml
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
hfToken.create | 是 | 是否由 chart 创建存放 HuggingFace Token 的 Secret | true |
hfToken.value | 是 | 你的 HuggingFace 访问令牌,用于拉取模型 | hf_xxxxxxxxxxxxxxxxxxxx |
namespace | 否 | 部署所在的 Kubernetes 命名空间 | sie |
SIE_TELEMETRY_DISABLED | 否 | 设为 1 关闭匿名遥测数据收集 | 1 |
DO_NOT_TRACK | 否 | 设为 1 同样可关闭遥测 | 1 |
如何确认成功
helm 命令无报错返回即表示提交部署成功,可用 kubectl -n sie get pods 查看 Pod 是否进入 Running。
常见问题
Q:如何固定 chart 版本?
A:在 helm upgrade --install 命令中加入 --version 参数,README 给出的可复现示例如 --version 0.6.18。
Q:如何关闭遥测?
A:SIE 默认收集匿名使用数据(版本、系统、架构、GPU 类型),设置环境变量 SIE_TELEMETRY_DISABLED=1 或 DO_NOT_TRACK=1 即可关闭。
Q:HuggingFace Token 怎么传进去?
A:使用 --set hfToken.create=true --set hfToken.value=你的Token 两个参数,把 YOUR_HF_TOKEN 替换为真实令牌。
Q:非 GKE 集群能用吗?
A:README 只提供了 values-gke.yaml,其他环境的部署方式请参考官方部署指南 superlinked.com/docs/deployment/。
注意事项
- 安装前必须准备可用的 HuggingFace Token,否则模型无法拉取。
- README 示例使用 GKE 专用 values 文件,其他集群需参考官方部署指南调整。
- SIE 默认开启匿名遥测,但不收集 IP、主机名与请求数据,可通过环境变量关闭。
- 建议用 --version 固定 chart 版本,避免后续升级带来的不可复现问题。
核心亮点
- 统一管理多个模型,支持动态加载和切换,避免为每个模型单独部署服务
- 基于 Kubernetes 的集群能力,自动扩缩容和故障转移,生产可用性高
- 针对 LLM 推理优化,支持批处理和缓存,降低延迟和成本
不足之处
- 文档/社区待观察
- 尚处成长阶段,生态和插件不如成熟项目丰富
适用场景
- 智能体应用需要同时调用多个不同模型(如对话、分类、嵌入)
- 高并发推理场景,需要弹性伸缩和负载均衡
- 企业内部统一模型服务,降低运维成本
替代项目
vLLM、Triton Inference Server、Ray Serve
同类项目推荐
bifrost
开源
高并发场景下,用 Bifrost 统一管理千款模型,延迟微秒级,成本一目了然。
Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway···
VectorCode
开源
给代码建索引,让 LLM 更懂你的仓库
A code repository indexing tool to supercharge your LLM experience.
myapi
开源
一个终端,搞定网站、后端和支付,快速落地真实业务。
The unified API for autonomous companies. Ship a real business — website, backend, ···
freebucks-proxy
开源
多账号池化 OpenAI 网关,编码模型调用不再被限流卡住
Archived; no longer maintained.
NadirClaw
开源
自动分流简单/复杂请求,AI API 账单直降四到七成
Source-available LLM router and AI cost optimizer. Routes simple prompts to cheap or···
tart
开源
在 Apple Silicon 上秒级拉起 macOS/Linux 虚拟机跑 CI
macOS and Linux VMs on Apple Silicon to use in CI and other automations
casadi
开源
写符号表达式,自动求导并生成优化代码
CasADi is a symbolic framework for numeric optimization implementing automatic diffe···
ctransformers
开源
在 Python 里直接跑 GGML 量化模型,本地推理又快又省资源。
Python bindings for the Transformer models implemented in C/C++ using GGML library.
domino-research
开源
拿来即用的企业级数据科学实验管理工具箱
Projects developed by Domino's R&D team
