tensorrtllm_backend

在 Triton 上直接跑 TensorRT-LLM，省去自研推理服务

TensorRT-LLM Backend 是 NVIDIA 为 Triton 推理服务器提供的后端插件，让用户可以在 Triton 上直接部署和运行 TensorRT-LLM 优化后的模型。它解决的核心问题是：TensorRT-LLM 虽然性能强，但单独部署需要自己处理请求调度、批处理、并发和 HTTP/gRPC 接口，而 Triton 本身是成熟的推理服务框架，两者结合后，用户只需按 Triton 的模型仓库规范放置引擎和配置，就能获得生产级的大模型推理服务。核心能力包括：支持 in-flight batching（连续批处理）、流式输出、多模型并发、张量并行与流水线并行、以及通过 Triton 的 C API 与 Python 后端灵活扩展。它适合已经用 Triton 做推理服务、又希望用 TensorRT-LLM 加速大模型的团队，能省去自研服务层的成本。