grps_trtllm

用 C++ 榨干 GPU，OpenAI 服务比 vLLM 更快

grps_trtllm 是一个基于 TensorRT-LLM 和 C++ 实现的高性能 OpenAI 兼容 LLM 服务框架，旨在解决 vLLM 在高并发、低延迟场景下的性能瓶颈。它通过纯 C++ 推理路径和 GPRS 通信框架，提供比 vLLM 更快的响应速度和更高的吞吐量。项目支持 chat 和 function call，可构建 AI 智能体，并具备分布式多 GPU 推理能力，能处理大规模模型。同时，它支持多模态输入（如 InternVL、MiniCPM-V 等），并内置 Gradio 聊天界面，方便快速演示和交互。核心能力包括高效的 tokenizer 集成、灵活的模型部署（如 ChatGLM、DeepSeek-R1、Llama 3 等）以及与 LlamaIndex 等生态的兼容。该项目适合对推理延迟和吞吐量有极致要求的生产环境，尤其适合需要部署 OpenAI 兼容 API 的智能体应用。