项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 140
核心亮点
- 兼容 OpenAI 和 Anthropic 两套主流 API 格式，接入成本低
- 用 Rust 实现，性能好且内存安全，适合高并发网关场景
- 支持多种订阅服务聚合，一个端点管理多个 AI 来源
不足之处
- 文档/社区待观察
- 早期项目，功能稳定性未经大规模验证
适用场景
- 开发者使用订阅制 AI 服务但需要 API 调用场景
- 在 Cursor、Amp Code 等 AI 编程工具中接入订阅额度
- 企业内部统一管理多个 AI 订阅并暴露标准接口
替代项目
LiteLLM、One API、OpenRouter
上一篇：tiygate
下一篇：llm-metadata
同类项目推荐
TurboLLM
开源
一条命令把 Claude Code 接到自己显卡上跑
Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthrop···
pathway
开源
一份 Python 代码，同时跑批处理和实时流，还能接 RAG。
Python ETL framework for stream processing, real-time analytics, LLM pipelines, and ···
JetStream
开源
在 TPU 上榨干每一分性能，让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
llmserve
开源
终端里选模型选后端，一键把本地 LLM 跑起来
A simple TUI for serving local LLM models. Pick a model, pick a backend, serve it
llm-sandbox
开源
给 LLM 一个安全的代码沙箱，跑 AI 生成的代码不翻车
Lightweight and portable LLM sandbox runtime (code interpreter) Python library.
llm-inference
开源
快速搭建基于开源大模型的聊天机器人，省去推理部署烦恼
Large Language Model (LLM) Inference API and Chatbot
xDiT
开源
多卡并行加速 DiT 出图，单卡跑不动的高分辨率也能秒级生成
xDiT: A Scalable Inference Engine for Diffusion Transformers (DiTs) with Massive Par···
litellm-pgvector
开源
把 LiteLLM 日志变成可搜索的向量库，快速挖掘调用模式
screenpipe
开源
录屏24小时，喂给AI代理，本地私密自动化
YC (S26) | Open Computer History | Continuously record your company computer work, m···