grpc
本站收录 15 个带「grpc」标签的 AI 开源项目
conductorConductor 是一个事件驱动的智能体工作流引擎，为应用程序和 AI Agent 提供持久且高弹性的执行环境。它解决了微服务或 AI 任务编排中流程复杂、易★ 32,240
serve基于云原生技术栈构建多模态 AI 应用的框架，让开发者可以像搭积木一样编排微服务化的 AI 流水线。它天然支持文本、图像、音视频等多种模态的模型编排与扩展，配合★ 21,864
weaviate开源向量数据库，同时存储对象与向量，将向量相似度检索与结构化过滤无缝结合，兼具云原生数据库的容错性与可扩展性。支持多种嵌入模型与模块化扩展，常被用于构建语义搜索★ 16,860
flyteFlyte 是一个开源的云原生编排平台，专注于数据、机器学习和 AI 工作流的自动化。它解决的是在复杂生产环境中，数据管道、模型训练和推理任务难以统一调度和可靠★ 7,602
spongesponge 是一个基于 Go 语言的开发框架，主打“低代码”构建高性能后端服务。它通过代码生成器、可视化界面和丰富的内置组件，显著降低 Go 后端开发的门槛，★ 2,870
TurboOCRTurboOCR 是一个基于 C++ 实现的高性能 OCR 服务，专为追求极致吞吐量的场景设计。它集成了百度飞桨的 PP-OCRv6 模型，并利用 Tensor★ 1,098
hoopHoop 是一个用 Go 编写的统一网关，部署在各类协议前端，为 MCP、LLM、数据库和容器等不同后端提供一致的安全策略。它解决的核心问题是：当企业内部同时接★ 823
privacy-filterprivacy-filter 是一个用 Go 编写的 LLM 隐私网关，专注于在毫秒级延迟内对 PII（个人身份信息）和密钥进行脱敏处理。它解决了 AI 应用中★ 337
OctoBusOctoBus 是一个面向 AI 智能体的安全本地网关，旨在让智能体可靠地调用企业批准的 API、工具和服务。它解决了 AI 智能体在访问企业内部系统时面临的安★ 201
gateway这是一个已弃用的AI网关项目，旨在为构建生产级AI应用提供核心基础设施。它作为统一入口，处理对各类AI模型的请求路由、负载均衡、API密钥管理与访问控制等，解决★ 162
keda-gpu-scalerkeda-gpu-scaler 是一个基于 KEDA 外部 gRPC 扩展器的 GPU 自动扩缩容组件。它通过 DaemonSet 方式在每个节点上运行，直接利★ 131
reshaprreshapr 是一个开源的、无需编码的 MCP（Model Context Protocol）服务器，旨在为 AI 原生应用提供统一的 API 访问层。它解决★ 127
uxcuxc 是一个用 Rust 编写的统一命令行工具，旨在解决 AI 智能体与多种 API 协议交互时的碎片化问题。它通过一个统一的接口，让用户能够发现和调用 Op★ 115
sonatasonata 是一个用 Rust 编写的跨平台神经 TTS（文本转语音）推理引擎，专注于高效运行神经网络语音合成模型。它解决了传统 TTS 引擎依赖重型框架、部★ 75
dataplanedataplane 是南天网关（Nantian Gateway）的数据平面，基于 Rust 和 Pingora 构建，提供高性能的 HTTP/gRPC 代理、流★ 34