项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 180
核心亮点
- 提供可编程的护栏，灵活定义内容过滤规则
- 统一网关入口，简化多模型接入和密钥管理
- 自托管部署，数据不出内网，隐私可控
不足之处
- 项目处于早期，文档和社区生态尚待完善
- 功能边界与主流 API 网关有重叠，需评估集成成本
适用场景
- 企业内部 AI 应用的安全合规接入
- 多模型统一管理，防止敏感数据泄露
- 对 LLM 输出进行实时内容审核和拦截
替代项目
LiteLLM、OpenAI API Gateway、Portkey
上一篇：llm-metadata
下一篇：voidllm
同类项目推荐
MLOpsPython
开源
用 Azure 全家桶，把机器学习模型从训练到上线全流程自动化。
MLOps using Azure ML Services and Azure DevOps
cache-dit
开源
让大 DiT 模型在有限显存下跑得更快更省
A PyTorch-native inference engine with cache, parallelism, quantization and cpu offl···
seait
开源
一键安装主流 AI 绘画工具，告别命令行折腾
SEAIT is a user-friendly application that simplifies the installation process of AI-···
guidance-for-multi-provider-gene···
开源
一套 OpenAI 风格接口，统一调用 AWS 上多家大模型
This Guidance demonstrates how to streamline access to numerous large language model···
finn
开源
把量化神经网络自动编译成 FPGA 数据流硬件
Dataflow compiler for QNN inference on FPGAs
mlops-v2
开源
用模板在 Azure 上快速搭建企业级机器学习自动化流水线
Azure MLOps (v2) solution accelerators. Enterprise ready templates to deploy your ma···
Awesome-LLM-Inference
开源
大模型推理优化论文与代码，一页找齐
A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Page···
aqueduct
开源
在任意云上跑LLM和ML工作负载，但已停更
Aqueduct is no longer being maintained. Aqueduct allows you to run LLM and ML worklo···
dfserver
开源
用 Go 打造高并发 AI 图像生成流水线，提升吞吐量。
A distributed backend AI pipeline server