llmio

统一管理多个大模型，自动负载均衡，省心省钱

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 44 🐛 待处理 10 👀 关注 2
GitHub ↗
GitHub 星标 ★ 322
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目，MIT 许可证，可自行部署，完全免费。

项目预览

llmio 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队atopos31
GitHubhttps://github.com/atopos31/llmio
定价模式🏷️完全免费
价格说明开源项目，MIT 许可证，可自行部署，完全免费。
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议MIT
主要语言Go
技术栈/模型ai,ai-gateway,claude,claude-ai,claude-code,codex,deepseek,doubao,gemini,gemini-cli,go,golang,kimi,newapi,openai,openclaw,qwen,transformer
GitHub 星标★ 322
上线时间2025-08-06 00:00:00
代码更新2026-10-29
仓库体积11.6 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

llmio 是一个用 TypeScript 编写的统一 LLM 网关，旨在解决多模型接入时的管理混乱问题。它提供权重负载均衡，让开发者可以按比例将请求分发到不同模型（如 GPT、Claude、Llama 等），并支持故障转移，提升整体可用性。同时内置可观测性功能，实时追踪请求延迟、成功率等关键指标，并通过费用追踪帮助团队控制成本。核心能力包括：灵活的权重配置、健康检查、自动重试、以及统一的 API 接口，让上层应用无需关心底层模型差异。适合需要管理多个 LLM 供应商、优化成本或提升稳定性的团队，尤其适合生产环境中的 AI 应用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 322

核心亮点

  • 权重负载均衡，按比例分配流量，支持故障转移，提升稳定性
  • 内置可观测性，实时监控请求指标，便于排查问题
  • 费用追踪清晰，帮助控制多模型调用成本

不足之处

  • 早期项目，文档和社区生态待观察
  • 功能相对基础，高级策略（如基于延迟的动态路由）可能缺失

适用场景

  • 多模型接入的统一管理，避免代码重复
  • 生产环境需要高可用和故障转移的 LLM 服务
  • 需要监控和优化多模型调用成本的团队

替代项目

LiteLLM、OpenRouter、Portkey

上一篇：ccLoad

下一篇：digiRunner-Open-Source

同类项目推荐

ds4 开源

在本地显卡上直接跑 DeepSeek 4，数据不出机器

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

★ 24284 2026-11-08
eidos 开源

把散落的数据收拢起来，按你的方式管理

A single-file relational spreadsheet for you and your agent.

★ 3203 2026-08-09
polyaxon 开源

一站式管理AI实验、训练与部署，让团队协作更高效。

AI Infra / AI Orchestration / AI Control Plane

★ 3746 2026-08-09
heron 开源

不碰代码，抓包就能监控 LLM 与智能体性能

Agent and LLM API performance monitoring via network packet probe. Measures performa···

★ 104 2026-08-09
tart 开源

在 Apple Silicon 上秒级拉起 macOS/Linux 虚拟机跑 CI

macOS and Linux VMs on Apple Silicon to use in CI and other automations

★ 7828 2026-10-26
Electron-BitNet 开源

在桌面轻松跑微软 BitNet，无需命令行

Running Microsoft's BitNet via Electron, React & Astro

★ 66 2026-08-09
LongMemory 开源

给 AI 应用装上本地长期记忆，告别每次对话都失忆

Local persistent memory store for LLM applications including claude desktop, github ···

★ 4571 2026-09-01
corpusos 开源

一套协议打通所有 AI 框架，告别碎片化集成

Open-source protocol suite standardizing LLM, Vector, Graph, and Embedding infrastru···

★ 206 2026-08-09