
tensorrtllm_backend
在 Triton 上直接跑 TensorRT-LLM,省去自研推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-10-06 · 当前星标 ★ 944
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- NVIDIA GPU + 匹配驱动
- Docker 与 nvidia-container-toolkit
- NGC 账号(拉镜像)
安装与启动步骤
-
1拉官方镜像
镜像已含 TensorRT-LLM 与 Triton,挂上 GPU 直接进容器即可,不用本机装 CUDA 工具链。
docker run --rm -it --net host --shm-size=2g --ulimit memlock=-1 --gpus all \ nvcr.io/nvidia/tritonserver:<ver>-trtllm-python-py3 -
2克隆主仓
引擎构建脚本在 TensorRT-LLM 主仓里,backend 只是 Triton 侧的胶水层。
git clone https://github.com/NVIDIA/TensorRT-LLM.git -
3构建引擎并按模板填 model 仓库
把 HF 权重转成 TensorRT-LLM 引擎,再照 triton_backend/all_models 下的模板改 config.pbtxt。
-
4起 Triton 服务
用官方脚本拉起,world_size 与张量并行度保持一致。
python3 TensorRT-LLM/triton_backend/scripts/launch_triton_server.py \ --world_size 1 --model_repo /model_repo -
5容器内一键脚本
镜像里已放好的脚本可省去手工拼参数。
bash /tensorrtllm_backend/tensorrt_llm_triton.sh
如何确认成功
模型在 Triton 里状态变为 READY,HTTP 推理接口能返回生成结果。
常见问题
Q:模型一直不 READY?
A:先看 docker logs 里的引擎加载日志,九成是 Triton 与 TRT-LLM 版本不一致。
注意事项
- Triton 版本必须与 TensorRT-LLM 版本对应,混用会在加载引擎时报版本不匹配。
- 引擎构建是离线步骤,换模型或改并行度都要重建,耗时较长。
核心亮点
- 与 Triton 无缝集成,复用其模型仓库、动态批处理和监控体系
- 支持 in-flight batching 和流式输出,适合在线大模型服务
- 提供张量并行/流水线并行配置,可扩展多卡多机部署
不足之处
- 强依赖 NVIDIA GPU 和 TensorRT-LLM 版本,环境配置门槛高
- 文档和示例更新节奏跟随上游,社区相对小众
适用场景
- 已有 Triton 推理平台的团队部署大语言模型
- 需要流式输出和连续批处理的在线对话服务
- 多卡张量并行部署大模型并统一管理
替代项目
vLLM、TGI、SGLang
同类项目推荐
ramalama
开源
像拉容器镜像一样拉取并运行AI模型,本地推理一键搞定。
RamaLama is an open-source developer tool that simplifies the local serving of AI mo···
liveblocks
开源
快速为应用和智能体添加实时协作能力,无需自研后端。
Realtime infrastructure for multiplayer apps and agents
batchlinks-webui
开源
一条链接列表,批量拉取模型,省时省力
Download several Huggingface, MEGA, and CivitAI links at once. SD webui extension. F···
MagiCompiler
开源
插上就快,视频生成模型推理训练免费提速
A plug-and-play compiler that delivers free-lunch optimizations for both inference a···
VectorHub
开源
向量搜索入门资源库,已停更,新用户请转向 SIE 引擎
Deprecated historical repo. Superlinked now develops SIE, a self-hosted inference en···
merlin
开源
在 Kubernetes 上轻松管理、部署和上线 ML 模型,省心省力。
Kubernetes-friendly ML model management, deployment, and serving.
meridian
开源
把 Claude Max 订阅用到所有 AI 编程工具里,省心省钱
Use Claude and Antigravity with Pi, OpenCode and other coding clients. Local API bri···
moss
开源
不用向量数据库,10毫秒内搞定AI检索
The retrieval layer for production AI systems. Lightning-fast (<10ms) search without···
aisimulate
开源
不占 GPU 也能预测大模型服务性能并搜配置
AISim predicts LLM serving behavior and searches for strong deployment configuration···