tensorrtllm_backend

在 Triton 上直接跑 TensorRT-LLM,省去自研推理服务

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 147 🐛 待处理 345 👀 关注 18
GitHub ↗
GitHub 星标 ★ 944
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,Triton推理后端组件

项目预览

tensorrtllm_backend 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队triton-inference-server
定价模式🏷️完全免费
价格说明开源免费,Triton推理后端组件
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
GitHub 星标★ 944
上线时间2023-09-12 00:00:00
代码更新2026-11-02
仓库体积3.3 MB
本站数据更新2026-11-21
维护状态较活跃
收录时间2026-10-06
浏览次数4

项目介绍

TensorRT-LLM Backend 是 NVIDIA 为 Triton 推理服务器提供的后端插件,让用户可以在 Triton 上直接部署和运行 TensorRT-LLM 优化后的模型。它解决的核心问题是:TensorRT-LLM 虽然性能强,但单独部署需要自己处理请求调度、批处理、并发和 HTTP/gRPC 接口,而 Triton 本身是成熟的推理服务框架,两者结合后,用户只需按 Triton 的模型仓库规范放置引擎和配置,就能获得生产级的大模型推理服务。核心能力包括:支持 in-flight batching(连续批处理)、流式输出、多模型并发、张量并行与流水线并行、以及通过 Triton 的 C API 与 Python 后端灵活扩展。它适合已经用 Triton 做推理服务、又希望用 TensorRT-LLM 加速大模型的团队,能省去自研服务层的成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 944

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:高级 约 60 分钟 部署方式:Docker 5 步

环境要求

  • NVIDIA GPU + 匹配驱动
  • Docker 与 nvidia-container-toolkit
  • NGC 账号(拉镜像)

安装与启动步骤

  1. 1拉官方镜像

    镜像已含 TensorRT-LLM 与 Triton,挂上 GPU 直接进容器即可,不用本机装 CUDA 工具链。

    docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all \
        nvcr.io/nvidia/tritonserver:<ver>-trtllm-python-py3
  2. 2克隆主仓

    引擎构建脚本在 TensorRT-LLM 主仓里,backend 只是 Triton 侧的胶水层。

    git clone https://github.com/NVIDIA/TensorRT-LLM.git
  3. 3构建引擎并按模板填 model 仓库

    把 HF 权重转成 TensorRT-LLM 引擎,再照 triton_backend/all_models 下的模板改 config.pbtxt。

  4. 4起 Triton 服务

    用官方脚本拉起,world_size 与张量并行度保持一致。

    python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py \
        --world_size 1 --model_repo /model_repo
  5. 5容器内一键脚本

    镜像里已放好的脚本可省去手工拼参数。

    bash /tensorrtllm_backend/tensorrt_llm_triton.sh

如何确认成功

模型在 Triton 里状态变为 READY,HTTP 推理接口能返回生成结果。

常见问题

Q:模型一直不 READY?

A:先看 docker logs 里的引擎加载日志,九成是 Triton 与 TRT-LLM 版本不一致。

注意事项

  • Triton 版本必须与 TensorRT-LLM 版本对应,混用会在加载引擎时报版本不匹配。
  • 引擎构建是离线步骤,换模型或改并行度都要重建,耗时较长。

核心亮点

  • 与 Triton 无缝集成,复用其模型仓库、动态批处理和监控体系
  • 支持 in-flight batching 和流式输出,适合在线大模型服务
  • 提供张量并行/流水线并行配置,可扩展多卡多机部署

不足之处

  • 强依赖 NVIDIA GPU 和 TensorRT-LLM 版本,环境配置门槛高
  • 文档和示例更新节奏跟随上游,社区相对小众

适用场景

  • 已有 Triton 推理平台的团队部署大语言模型
  • 需要流式输出和连续批处理的在线对话服务
  • 多卡张量并行部署大模型并统一管理

替代项目

vLLM、TGI、SGLang

上一篇:rknn-llm

下一篇:ncnn_llm

同类项目推荐

ramalama 开源

像拉容器镜像一样拉取并运行AI模型,本地推理一键搞定。

RamaLama is an open-source developer tool that simplifies the local serving of AI mo···

★ 3115 2026-08-09
liveblocks 开源

快速为应用和智能体添加实时协作能力,无需自研后端。

Realtime infrastructure for multiplayer apps and agents

★ 4772 2026-08-09
batchlinks-webui 开源

一条链接列表,批量拉取模型,省时省力

Download several Huggingface, MEGA, and CivitAI links at once. SD webui extension. F···

★ 185 2026-08-09
MagiCompiler 开源

插上就快,视频生成模型推理训练免费提速

A plug-and-play compiler that delivers free-lunch optimizations for both inference a···

★ 337 2026-08-09
VectorHub 开源

向量搜索入门资源库,已停更,新用户请转向 SIE 引擎

Deprecated historical repo. Superlinked now develops SIE, a self-hosted inference en···

★ 535 2026-08-09
merlin 开源

在 Kubernetes 上轻松管理、部署和上线 ML 模型,省心省力。

Kubernetes-friendly ML model management, deployment, and serving.

★ 184 2026-08-09
meridian 开源

把 Claude Max 订阅用到所有 AI 编程工具里,省心省钱

Use Claude and Antigravity with Pi, OpenCode and other coding clients. Local API bri···

★ 2207 2026-08-09
moss 开源

不用向量数据库,10毫秒内搞定AI检索

The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···

★ 807 2026-08-09
aisimulate 开源

不占 GPU 也能预测大模型服务性能并搜配置

AISim predicts LLM serving behavior and searches for strong deployment configuration···

★ 139 2026-11-07