llmio 是基础设施领域的开源项目，由 atopos31 开发，2025 年首次发布。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 315。
项目仍在小幅维护中，最近一次代码更新于 2026-09-18。MIT 许可证，可自行部署，完全免费。
它主要面向的使用场景是：多模型接入的统一管理，避免代码重复。同类可对比的替代方案包括 LiteLLM、OpenRouter、Portkey。
llmio
统一管理多个大模型，自动负载均衡，省心省钱
llmio 是一个用 TypeScript 编写的统一 LLM 网关，旨在解决多模型接入时的管理混乱问题。它提供权重负载均衡，让开发者可以按比例将请求分发到不同模型（如 GPT、Claude、Llama 等），并支持故障转移，提升整体可用性。同时内置可观测性功能，实时追踪请求延迟、成功率等关键指标，并通过费用追踪帮助团队控制成本。核心能力包括：灵活的权重配置、健康检查、自动重试、以及统一的 API 接口，让上层应用无需关心底层模型差异。适合需要管理多个 LLM 供应商、优化成本或提升稳定性的团队，尤其适合生产环境中的 AI 应用。
开源
free
基础设施
GitHub 星标
★ 315
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类基础设施
开发团队atopos31
所属国家
定价模式free
价格说明开源项目，MIT 许可证，可自行部署，完全免费。
访问状态
是否开源是
开源协议MIT
主要语言TypeScript
技术栈/模型ai,ai-gateway,claude,claude-ai,claude-code,codex,deepseek,doubao,gemini,gemini-cli,go,golang,kimi,newapi,openai,openclaw,qwen,transformer
GitHub 星标★ 315
30天Star增速
HF 下载量
上线时间2025-08-06 00:00:00
最近更新2026-09-24 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3
使用教程
核心亮点
- 权重负载均衡，按比例分配流量，支持故障转移，提升稳定性
- 内置可观测性，实时监控请求指标，便于排查问题
- 费用追踪清晰，帮助控制多模型调用成本
不足之处
- 早期项目，文档和社区生态待观察
- 功能相对基础，高级策略（如基于延迟的动态路由）可能缺失
适用场景
- 多模型接入的统一管理，避免代码重复
- 生产环境需要高可用和故障转移的 LLM 服务
- 需要监控和优化多模型调用成本的团队
替代项目
LiteLLM、OpenRouter、Portkey
项目介绍
上一篇：ccLoad
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···