gpt_server

一套框架搞定多模态 AI 模型的生产级部署与调用

gpt_server 是一个面向生产环境的 AI 服务部署框架，旨在统一集成多种主流模型能力，包括大语言模型（LLM）、Embedding、Reranker、ASR 语音识别、TTS 语音合成、文生图、图片编辑和文生视频等。它解决了企业在实际业务中需要同时调用多种 AI 能力时面临的集成复杂、接口不统一、部署成本高的问题。核心能力包括：基于 FastChat、SGLang、LMDeploy 等推理引擎的高性能模型服务，支持 Function Calling 和 Prompt Injection 防护，内置文本审核模块，并提供 OpenAI 兼容的 API 接口，方便开发者快速接入。项目采用 Python 编写，模块化设计，适合需要快速搭建多模态 AI 服务中台的团队使用。目前项目处于早期阶段，星标数较少，但功能规划完整，具有较大的发展潜力。