higress

用 Envoy 打造 AI 原生网关,统一管理模型流量与成本。

higress 是一个云原生、AI 原生的 API 网关,基于 Envoy 构建,兼容 Ingress 与 Gateway API 标准。它旨在解决传统网关在 AI 场景下的不足,如缺乏对 LLM 流式响应、多模型路由、Prompt 管理和成本控制的支持。核心能力包括:统一接入 HTTP/gRPC/WebSocket 等协议,提供限流、熔断、认证等基础网关能力;针对 AI 场景,支持 OpenAI 等主流模型协议转换、多模型负载均衡与灰度发布、基于 Token 的计量计费、以及 Prompt 模板和敏感信息过滤。同时,它提供丰富的可观测性,能监控 AI 调用延迟、Token 消耗等指标。通过插件机制,用户可以扩展自定义逻辑,实现与现有微服务架构的无缝集成。

开源 free 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 9436
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类基础设施
开发团队higress-group
所属国家
官网地址https://higress.ai
定价模式free
价格说明开源项目,Apache-2.0 许可证,可免费使用和部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Go
技术栈/模型ai-gateway,ai-native,api-gateway,cloud-native,envoy
GitHub 星标★ 9436
30天Star增速
HF 下载量
上线时间2022-10-27 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6

使用教程

难度:入门 约 10 分钟 部署方式:Docker 5 步

环境要求

  • 已在本机安装并可运行 Docker
  • 能够拉取 higress-registry.cn-hangzhou.cr.aliyuncs.com 仓库镜像(网络可达)
  • 本机 8001、8080、8443 端口未被其他程序占用

安装与启动步骤

  1. 1确认 Docker 可用

    先确认本机已安装 Docker 且守护进程正常运行,否则后面的 docker run 会直接失败。

    docker version
  2. 2启动 Higress 容器

    用官方 all-in-one 镜像一键启动,同时映射控制台和网关端口;配置文件会写到当前工作目录。

    docker run -d --rm --name higress-ai -v ${PWD}:/data 
            -p 8001:8001 -p 8080:8080 -p 8443:8443  
            higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest
  3. 3查看容器状态

    确认容器处于运行状态;若已退出,可用 docker logs higress-ai 查看失败原因。

    docker ps --filter name=higress-ai
  4. 4访问控制台

    浏览器打开控制台入口,8001 是 UI 控制台,8080/8443 分别是网关的 HTTP/HTTPS 入口。

  5. 5拉取超时换镜像源

    若拉取镜像超时,可换成北美或东南亚区域的镜像仓库地址重新执行启动命令。

    docker run -d --rm --name higress-ai -v ${PWD}:/data 
            -p 8001:8001 -p 8080:8080 -p 8443:8443  
            higress-registry.us-west-1.cr.aliyuncs.com/higress/all-in-one:latest

关键配置

配置项必填说明示例
global.hub否Kubernetes 用 Helm 部署时指定镜像仓库地址,可换成本地区域镜像源higress-registry.us-west-1.cr.aliyuncs.com

如何确认成功

浏览器打开 http://localhost:8001 能看到 Higress 控制台界面,且 docker ps 中 higress-ai 容器状态为 Up。

常见问题

Q:拉取镜像一直超时怎么办?

A:换成官方提供的其他区域镜像源:北美 higress-registry.us-west-1.cr.aliyuncs.com,东南亚 higress-registry.ap-southeast-7.cr.aliyuncs.com,然后重新执行启动命令。

Q:控制台打不开是哪里出问题?

A:先确认容器在运行(docker ps),再确认访问的是 8001 端口;8001 是 UI 控制台入口,8080 和 8443 是网关流量入口。

Q:在 Kubernetes 上怎么装?

A:README 未给出完整 K8s 安装步骤,需参考官方 Quick Start 文档;Helm 部署时可通过 global.hub 指定镜像仓库。

Q:容器重启后配置还在吗?

A:配置文件会写入挂载的当前工作目录(${PWD}:/data),但容器以 --rm 启动,停止后容器本身会被自动删除。

注意事项

  • 启动命令中的 ${PWD} 是 bash 写法,Windows PowerShell 下需替换为当前目录的实际路径。
  • 容器使用 --rm 参数,停止后自动删除,请不要把重要数据只放在容器内。
  • 8001/8080/8443 三个端口用途不同,务必分别映射,否则控制台或网关无法访问。
  • Kubernetes/Helm 等其它安装方式的详细步骤以官方 Quick Start 文档为准。

核心亮点

  • 原生支持 AI 协议(如 OpenAI),可无缝接入多种 LLM,并实现多模型路由与灰度。
  • 提供 Token 级别的计量、限流和成本控制,帮助精细化管理 AI 调用开销。
  • 基于 Envoy 高性能核心,同时兼容 Kubernetes Ingress 标准,迁移成本低。

不足之处

  • 项目较新,生态和文档相比成熟网关(如 Kong)仍有差距。
  • 部分高级 AI 特性(如 Prompt 治理)依赖插件实现,核心内置能力有限。

适用场景

  • 企业构建统一 AI 网关,集中管理多个 LLM 提供商的 API 密钥与流量。
  • 微服务架构中,需要同时处理传统 API 和 AI 请求,且要求低延迟与高可用。
  • 对 AI 调用成本敏感,需按部门/项目进行 Token 配额与计费的场景。

替代项目

Kong、APISIX、Envoy Gateway

项目介绍

higress 是基础设施领域的开源项目,由 higress-group 开发,2022 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(9,436)位列前 6%,在基础设施分类的 1,132 个项目里位列前 8%。

近 41 天,它的 GitHub 星标从 9,083 增加到 9,436,净增 353。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。Apache-2.0 许可证,可免费使用和部署。

它主要面向的使用场景是:企业构建统一AI网关,集中管理多个LLM提供商的API密钥与流量。同类可对比的替代方案包括 Kong、APISIX、Envoy Gateway。

上一篇:apisix

下一篇:agentgateway

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09