grps_trtllm

用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署智能体 🍴 复刻 12 🐛 待处理 7 👀 关注 5

GitHub ↗

GitHub 星标 ★ 161

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可自行部署，完全免费。

项目预览

grps_trtllm 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类智能体

开发团队NetEase-Media

GitHubhttps://github.com/NetEase-Media/grps_trtllm

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可自行部署，完全免费。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

技术栈/模型ai-agent,chatglm,deepseek-r1,function-call,internvideo,internvl,janus-pro,llama-index,llama3,llm,minicpm-v,multi-modal,olmocr,openai,phi,qwen2,qwen2-vl,qwen3,qwq,tensorrt-llm

GitHub 星标★ 161

上线时间2024-08-21 00:00:00

代码更新2025-12-08

仓库体积138.6 MB

本站数据更新2026-11-10

维护状态低维护

收录时间2026-08-09

浏览次数6

项目介绍

grps_trtllm 是一个基于 TensorRT-LLM 和 C++ 实现的高性能 OpenAI 兼容 LLM 服务框架，旨在解决 vLLM 在高并发、低延迟场景下的性能瓶颈。它通过纯 C++ 推理路径和 GPRS 通信框架，提供比 vLLM 更快的响应速度和更高的吞吐量。项目支持 chat 和 function call，可构建 AI 智能体，并具备分布式多 GPU 推理能力，能处理大规模模型。同时，它支持多模态输入（如 InternVL、MiniCPM-V 等），并内置 Gradio 聊天界面，方便快速演示和交互。核心能力包括高效的 tokenizer 集成、灵活的模型部署（如 ChatGLM、DeepSeek-R1、Llama 3 等）以及与 LlamaIndex 等生态的兼容。该项目适合对推理延迟和吞吐量有极致要求的生产环境，尤其适合需要部署 OpenAI 兼容 API 的智能体应用。