otari

自建一个端点，管好所有大模型密钥和预算

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 118 🐛 待处理 276 👀 关注 8

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 880

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，可自行部署，无在线服务，完全免费。

项目预览

项目数据

分类基础设施

开发团队mozilla-ai

官网地址https://otari.ai

GitHubhttps://github.com/mozilla-ai/otari

定价模式🏷️完全免费

价格说明开源项目，可自行部署，无在线服务，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ai,ai-gateway,anthropic,api-key-management,budgets,cost-tracking,gateway,litellm-alternative,llm,llm-gateway,llm-proxy,llm-routing,llmops,multi-provider,open-source,openai,openai-compatible,python,self-hosted

GitHub 星标★ 880

上线时间2026-04-02 00:00:00

代码更新2026-11-09

仓库体积92.8 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数5

项目介绍

otari 是一个开源的、兼容 OpenAI API 的 LLM 网关，你可以自行部署。它提供了一个统一的 API 端点，用于接入 40 多家 LLM 提供商（如 OpenAI、Anthropic 等），解决了多提供商切换和密钥管理分散的问题。核心能力包括虚拟密钥（为不同用户或应用生成独立密钥）、预算控制（设置消费上限）和用量追踪（监控请求和费用）。它基于 Python 构建，适合需要集中管理 AI 资源、控制成本和审计使用的团队。通过 otari，你可以将多个后端模型整合到一个网关后面，客户端只需对接一个端点，简化了集成和维护工作。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 880

技术标签

ai ai-gateway anthropic cost-tracking gateway

使用教程

难度：进阶约 20 分钟部署方式：Docker 部署 4 步

环境要求

Docker
至少一个供应商 Key

安装与启动步骤

1起容器

把多个模型供应商收口到一个端点，带预算与虚拟密钥。
```
docker run --rm -p 8000:8000 ghcr.io/mozilla-ai/otari:latest
```
2或用 brew

Mac 上直接装 CLI 版。
```
brew install mozilla-ai/tap/otari
```
3发虚拟密钥

给每个项目单独发 key，并设预算上限。
```
otari keys create --name team-a --budget 20
```
4按需开扩展

代码执行、联网搜索这些是 profile。
```
docker compose --profile code-exec --profile web-search up -d
```