llmix 是基础设施领域的开源项目，由 sno-ai 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,132 个项目，GitHub 星标数为 132。
项目目前处于活跃维护状态，最近一次代码更新于 2026-09-05。Apache-2.0 许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：多模型切换的A/B测试或降级场景。同类可对比的替代方案包括 LiteLLM、OpenAI SDK、LangChain。
llmix
不改代码，热切换模型，自动加缓存重试熔断，让 LLM 调用更稳更省。
llmix 是一个面向 AI 智能体和工具的 LLM 调用层，旨在解决生产环境中多模型切换、稳定性保障和成本控制的问题。它允许开发者继续使用熟悉的 OpenAI、Anthropic、AI SDK 或 LiteLLM 接口，通过 MDA 预设实现模型热切换，无需修改业务代码。核心能力包括缓存、重试、熔断、密钥轮换、单飞（singleflight）等弹性机制，并提供了 Python、TypeScript、Rust 三种语言的统一实现，确保跨语言一致性。项目目前处于早期阶段，但设计思路清晰，适合需要高可靠、可观测的 LLM 调用场景。
开源
free
智能体
GitHub 星标
★ 132
维护状态
活跃
是否开源
是
定价模式
free
项目数据
分类智能体
开发团队sno-ai
所属国家
定价模式free
价格说明开源项目，Apache-2.0 许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-agents,ai-sdk,ai-tools,anthropic,circuit-breaker,gemini,key-rotation,litellm,llm,llm-cache,llm-orchestration,llmops,model-switching,openai,python,redis,rust,sno,sno-ai,typescript
GitHub 星标★ 132
30天Star增速
HF 下载量
上线时间2026-05-09 00:00:00
最近更新2026-09-05 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 兼容主流 SDK，无需重写代码即可接入
- 内置缓存、重试、熔断等生产级稳定性功能
- Python/TypeScript/Rust 多语言支持，便于统一架构
不足之处
- 文档/社区待观察
- 早期项目，生态和案例较少
适用场景
- 多模型切换的 A/B 测试或降级场景
- 高并发 LLM 调用需要缓存和限流保护
- 跨语言团队需要统一 LLM 调用行为
替代项目
LiteLLM、OpenAI SDK、LangChain
项目介绍
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···