hub 是基础设施领域的开源项目，由 traceloop 开发，2024 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 229。
项目仍在小幅维护中，最近一次代码更新于 2026-09-21。Apache-2.0 许可证，可免费自托管部署。
它主要面向的使用场景是：企业内部统一管理多个LLMAPI的访问入口。同类可对比的替代方案包括 LiteLLM、Portkey Gateway、Kong AI Gateway。
hub
用 Rust 打造的高性能 LLM 网关，自带监控，轻松管理大规模 AI 请求。
hub 是一个用 Rust 编写的高性能 LLM 网关，专为大规模 AI 应用设计。它解决了在多个 LLM 提供商（如 OpenAI、Anthropic 等）之间进行统一路由、负载均衡和请求管理的问题，同时内置基于 OpenTelemetry 的可观测性能力，帮助开发者监控和调试生产环境中的 AI 流量。其核心能力包括：高并发请求处理、智能路由策略、请求/响应日志记录、指标收集与追踪，以及灵活的配置管理。作为早期项目，它强调性能与可观测性，适合需要稳定、可监控的 LLM 基础设施的团队。
开源
free
基础设施
GitHub 星标
★ 229
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队traceloop
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，可免费自托管部署。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Rust
技术栈/模型artificial-intelligence,datascience,generative-ai,llm,llmops,ml,model-monitoring,observability,open-source,opentelemetry,rust
GitHub 星标★ 229
30天Star增速
HF 下载量
上线时间2024-10-24 00:00:00
最近更新2026-09-21 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数6
使用教程
核心亮点
- 基于 Rust，内存安全且性能极高，适合高吞吐场景
- 内置 OpenTelemetry 可观测性，开箱即用，便于监控和排障
- 统一网关抽象，简化多模型接入和切换
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 功能相对基础，可能缺少高级路由策略和细粒度配额管理
适用场景
- 企业内部统一管理多个 LLM API 的访问入口
- 需要高并发、低延迟的 AI 服务网关场景
- 对可观测性有强要求的生产环境部署
替代项目
LiteLLM、Portkey Gateway、Kong AI Gateway
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···