⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
1部署网关
用 Docker 启动 TensorZero Gateway，README 只说明它是一个 Docker 容器，未给出具体命令与端口，请以官方部署文档为准。
2修改客户端配置
在你已有的 OpenAI 兼容客户端里，把 base_url 指向刚部署好的网关地址，把 model 换成网关中使用的模型名。
3发起推理请求
继续使用原来的 OpenAI SDK 代码调用，README 示例以 Python 的 from openai import OpenAI 开头，仅需改 base_url 与 model。
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
base_url | 是 | 告诉 OpenAI 兼容客户端把请求发给 TensorZero Gateway 而非官方接口 | |
model | 是 | 指定要调用的模型名，由网关统一路由到各 LLM 提供商 | |
按 README 描述运行推理后，客户端能正常返回模型结果，说明网关已部署并接管请求。
Q：必须用 OpenAI 官方的 SDK 吗？
A：不需要。任何 OpenAI SDK（Python、Node、Go 等）或 OpenAI 兼容客户端都可以对接 TensorZero。
Q：必须一次性接入全部功能吗？
A：不必。README 明确说明可以按需取用、渐进式采用，并与其他工具互补搭配。
Q：支持哪些 LLM 提供商？
A：README 称可通过统一 API 访问所有主流 LLM 提供商，并兼容 OpenTelemetry。
Q：网关的性能如何？
A：README 宣称其为性能而构建，p99 延迟低于 1ms。
LiteLLM、Langfuse、Helicone
tensorzero 是基础设施领域的开源项目，由 tensorzero 开发，2024 年首次发布。
在全站 13,014 个收录项目中，它的 GitHub 星标数（11,721）位列前 5%，在基础设施分类的 1,130 个项目里位列前 6%。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-22。从国内网络环境看，可直接访问。
它主要面向的使用场景是：企业级LLM应用生产环境中的统一网关与流量管理。同类可对比的替代方案包括 LiteLLM、Langfuse、Helicone。
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···
