TensorRT-Edge-LLM

在边缘设备上跑大模型，C++ 推理又快又省显存

TensorRT-Edge-LLM 是一个面向物理 AI（机器人、自动驾驶、边缘设备）的高性能轻量级 C++ 推理软件，用于在资源受限的硬件上运行大语言模型（LLM）和视觉语言模型（VLM）。它解决的核心问题是：通用推理框架在边缘端往往依赖 Python 运行时、内存占用大、延迟高，难以满足实时性要求。项目通过 C++ 实现推理引擎，结合 TensorRT 做算子融合与量化加速，降低显存/内存占用并提升吞吐。核心能力包括：支持主流 LLM 与 VLM 的部署、面向 NVIDIA 边缘计算平台的优化、轻量化运行时、以及为具身智能场景设计的低延迟推理管线。项目当前处于早期阶段，星标约 553，主要面向需要在 Jetson 等设备上落地多模态模型的开发者。