serving
本站收录 14 个带「serving」标签的 AI 开源项目
rayRay 是一个面向 AI 计算的分布式引擎，由核心分布式运行时和一组 AI 库组成，用于加速机器学习工作负载。它解决了大规模分布式训练、调参、推理和服务部署中的★ 43,949
seldon-coreSeldon Core 是一个用于打包、部署、监控和管理生产环境中机器学习模型的开源 MLOps 框架。它解决了将训练好的模型（如 TensorFlow、PyT★ 4,782
tiny-llmtiny-llm 是一个面向系统工程师的 LLM 推理服务实战课程，专注于在 Apple Silicon 上构建一个精简版 vLLM + Qwen。项目通过亲手★ 4,735
serveServe 是一个用于在生产环境中部署、优化和扩展 PyTorch 模型的开源基础设施项目。它解决了将训练好的 PyTorch 模型高效、稳定地服务化的问题，提★ 4,344
FastDeployFastDeploy 是百度飞桨（PaddlePaddle）生态下的高性能推理与部署工具包，专注于大语言模型（LLM）和多模态模型（VLM）的快速部署。它解决了★ 3,718
evadbEvaDB 是一个专为 AI 应用设计的数据库系统，旨在简化 AI 功能的集成。它允许开发者通过类似 SQL 的查询语言，在数据库内部直接调用机器学习模型，处理★ 2,674
llm-applications这是一个面向生产环境的 RAG（检索增强生成）LLM 应用构建指南，基于 Jupyter Notebook 形式提供系统化教程。项目由 Anyscale 团队维★ 1,860
Boostcamp-AI-Tech-Product-ServingBoostcamp AI Tech Product Serving 是韩国 NAVER 旗下 Boostcamp 人工智能培训项目发布的课程资料仓库，聚焦 AI★ 474
haupthaupt 是 Polyaxon 生态中的一个基础设施组件，提供统一的 lineage 元数据 API、工件流、沙箱、API 和 spaces 能力。它主要解决★ 451
bodywork-corebodywork-core 是一个基于 Kubernetes 的机器学习流水线编排与模型部署工具。它旨在解决 ML 工程中从模型训练到线上服务的复杂流程管理问题★ 436
ML-Model-CIMLModelCI 是一个面向机器学习服务的 MLOps 平台，旨在打通模型训练与线上部署之间的断层。它提供模型管理、格式转换、性能剖析和自动部署等一站式能力，★ 198
clearml-servingClearML Serving 是 ClearML 生态中的模型服务编排与仓库解决方案，用于将训练好的机器学习模型部署为生产级推理服务。它解决的是模型从实验到上★ 170
vllm-factoryvllm-factory 是一个为编码器模型（如 ColBERT、GLiNER、ColPali 等）提供生产级推理服务的开源项目，以 vLLM 插件的形式实现，★ 82
vox-servevox-serve 是一个面向 TTS（文本转语音）和 STS（语音转语音）模型的流式原生推理服务引擎，用 Python 编写。它解决了生产环境中部署语音模型时★ 79