gpt_server
一套框架搞定多模态 AI 模型的生产级部署与调用
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 253
技术标签
核心亮点
- 统一集成 LLM、ASR、TTS、图像生成等 8 类模型能力，减少多套系统维护成本
- 基于 SGLang、LMDeploy 等高性能推理引擎，兼顾生产环境性能需求
- 内置 Function Calling 和 Prompt Injection 防护，增强业务安全性
不足之处
- 项目处于早期阶段，星标数少，社区生态和文档完善度待观察
- 多模型集成可能导致部署复杂度较高，资源占用较大
适用场景
- 企业级 AI 中台建设，统一管理多种模型服务
- 需要同时使用语音识别、合成和 LLM 的智能客服系统
- 多模态内容生成平台，如文生图、文生视频等业务
替代项目
FastChat、vLLM、LocalAI
上一篇：avr-infra
下一篇：mlx-omni-server
同类项目推荐
uccl
开源
让 GPU 通信快如闪电，训练推理不再等数据
UCCL is an efficient communication library for GPUs, covering collectives, P2P (e.g.···
ChatGPT-Mirror
开源
一键部署，秒开个人 ChatGPT 镜像站
一键部署个人的 ChatGPT 镜像站
hermes-labyrinth
开源
给 Hermes Agent 装上行车记录仪，看清每一步决策路径
Read-only observability plugin for Hermes Agent: journeys, crossings, guideposts, an···
modelstore
开源
一行代码保存模型版本，随时回溯和分享
modelstore is a Python library that allows you to version, export, and save a machin···
VecturaKit
开源
在苹果设备上本地跑向量检索，构建隐私安全的 RAG 应用
Swift-based vector database for on-device RAG using MLTensor and MLX Embedders
fastapi
开源
一个网关接入所有大模型，企业 AI 集成快人一步
企业级 LLM API 快速集成系统，支持OpenAI、Azure、文心一言、讯飞星火、通义千问、智谱GL···
aegea
开源
一条命令搞定AWS日常操作，告别繁琐控制台
Amazon Web Services Operator Interface
aegis-stack
开源
快速搭建生产级 FastAPI 搜索知识平台
A production-ready FastAPI platform with modular components and a built-in control p···
opik-mcp
开源
在 Claude Code 里直接查 Opik 追踪、打分、管提示词
Model Context Protocol (MCP) server for Opik, the open-source LLM observability and ···