项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 292
核心亮点
- Rust 实现，性能与内存安全有保障，适合高并发网关场景
- 内置协议翻译与请求分发，减少多模型接入的适配成本
- 聊天日志内置，方便审计与调试，且支持 React 组件快速集成业务数据
不足之处
- 项目早期，文档和社区生态尚待完善
- 功能范围较广，但深度和稳定性需更多生产验证
适用场景
- 企业内部统一 AI 模型接入层，统一协议与日志
- 需要将 AI 能力嵌入现有业务系统的快速开发场景
- 通过 Agent 自动化管理 AI 网关配置的运维场景
替代项目
LiteLLM、One API、Higress AI 网关
上一篇：privacy-filter
下一篇：one-api-pro
同类项目推荐
ai-system
开源
一站式管理 AI 模型全生命周期，告别工具碎片化
LLM/MLOps/LLMOps
hpcguard
开源
给 AI 代理套上缰绳，别让它跑挂共享 HPC 登录节点
A user-space safety net that helps researchers prevent AI agents from overloading sh···
rknn-llm
开源
把大模型塞进瑞芯微开发板，NPU 加速离线跑
Stable-Diffusion-WSL2-Docker
开源
Windows用户一键搞定Stable Diffusion，免配置直接出图
One-click install for StabilityAI's Stable-Diffusion with AUTOMATIC1111's webui
nano-vllm-prefillonly
开源
砍掉解码只留 prefill，判别式大模型推理更快更省
A specialized optimization of nano-vllm for prefill-only inference tasks, designed f···
modelstore
开源
一行代码保存模型版本，随时回溯和分享
modelstore is a Python library that allows you to version, export, and save a machin···
MoE-Infinity
开源
把 MoE 大模型塞进小显存，推理快还省钱
PyTorch library for cost-effective, fast and easy serving of MoE models.
grok2api-egress-enhancements
开源
代理出口质量自动守护，故障秒级隔离迁移，运维省心。
Grok2API & CPA egress quality guard with proxy recovery, quarantine, migration, and ···
moss
开源
不用向量数据库，10毫秒内搞定AI检索
The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···