项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 118
核心亮点
- Rust 实现，性能高且内存安全，适合高吞吐网关场景
- 内置 x402 和 MPP 支付通道，可直接将代理能力变现，差异化明显
- 提供调用追踪和成本优化功能，帮助控制多代理场景下的 LLM 开销
不足之处
- 项目处于早期（108 星），文档和社区生态尚待完善
- 功能覆盖广但深度未知，复杂路由策略可能需自行扩展
适用场景
- 企业内部多个 AI 代理统一接入和成本分摊
- 将 AI 能力打包为 API 并自动计费变现
- n8n 等自动化工作流中集中管理模型调用
替代项目
LiteLLM、OpenRouter、Kong AI Gateway
上一篇：os-moda
同类项目推荐
d-inference
开源
把闲置 Mac 组成私有推理集群
Private Inference Network on Idle Macs
prime
开源
一个 CLI 加 SDK，统一管 GPU、沙箱和分布式训练
Official CLI and Python SDK for Prime Intellect - access GPU compute, remote sandbox···
AgentMeasure
开源
把 Agent 的真实表现和商业价值，用一把尺子量清楚。
AI financial audit and task economics: connect usage, supplier charges and business ···
examples
开源
无服务器 GPU 部署示例集，快速上手 Cerebrium
Examples for Cerebrium Serverless GPUs
Hyperloom
开源
让 AMD GPU 自动调优 LLM 推理
An agentic system that auto-optimizes LLM workloads on AMD GPUs.
cli
开源
用代码图谱给 AI 编程省 token，只喂相关代码，不烧钱。
Save 40%+ on agent token costs with code graphs: call graphs, dependency graphs, dea···
anolisa
开源
用 Rust 打造 AI 代理的底层操作系统，让多代理协同更稳更安全。
ANOLISA (Agentic Nexus Operating Layer & Interface System Architecture) | Agentic OS···
ollama-operator
开源
用 K8s 声明式 YAML 一键部署和管理 Ollama 大模型服务
Yet another operator for running large language models on Kubernetes with ease. Powe···
FastDeploy
开源
用飞桨生态，一键部署大模型到生产环境
High-performance Inference and Deployment Toolkit for LLMs and VLMs based on PaddleP···