TensorRT-Edge-LLM
在边缘设备上跑大模型，C++ 推理又快又省显存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 607
使用教程
环境要求
- 边缘计算设备
- 对应模型权重
- TensorRT 环境
安装与启动步骤
-
1装推理包
它带服务端组件，装完能直接起。
python -m pip install "tensorrt-edgellm[server]" -
2导出模型
前面那个前端会把通用权重转成它要的中间格式。
-
3在设备上编译
转换后的模型要在目标设备上编译成引擎，跨设备不能通用。
-
4验精度
编译前后跑同一批输入对比，确认量化没伤到效果。
-
5压延迟
边缘场景看的是单次延迟与功耗，别只看吞吐。
如何确认成功
在目标设备上完成一次推理，输出与参考实现一致且延迟满足实时要求
注意事项
- 只支持特定边缘平台，普通显卡上用不了。
- 引擎与设备绑定，换设备要重新编译。
- 量化是必选项，精度损失要自己评估。
- 文本、视觉、语音几类模型都有支持，但覆盖不均。
核心亮点
- 纯 C++ 推理运行时，不依赖 Python 解释器，适合嵌入式与实时场景
- 针对 NVIDIA 边缘平台做 TensorRT 优化，兼顾延迟与内存占用
- 同时覆盖 LLM 与 VLM，支持多模态具身智能应用
不足之处
- 项目处于早期，文档与示例可能不完整
- 生态与社区规模较小，问题排查依赖官方支持
适用场景
- 在 Jetson 等边缘设备上部署本地大模型做语音/文本交互
- 机器人视觉语言任务，本地实时理解图像并生成动作指令
- 自动驾驶或工业质检场景中的低延迟多模态推理
替代项目
llama.cpp、TensorRT-LLM、MNN
上一篇：vLLM-Kunlun
下一篇：pathway
同类项目推荐
fox-in-the-box
开源
一键安装 Hermes，快速自托管 AI 助手
Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform
lupine
开源
让无GPU的电脑用上远程显卡，跑AI应用像本地一样
LUPINE is a GPU over IP bridge allowing GPUs on remote machines to be attached to CP···
dynamo
开源
把大模型推理做成数据中心级集群服务
A Datacenter Scale Distributed Inference Serving Framework
llama3.java
开源
纯 Java 跑 Llama 3，不装 Python 也能本地推理
Llama 3+ inference in pure Java
openfirma
开源
给 AI 智能体装上硬性权限闸门，每次调用都过策略
Runtime enforcement boundary for AI agents: a local sidecar that gates every outboun···
nixl
开源
为分布式推理提供统一高速数据传输层
NVIDIA Inference Xfer Library (NIXL)
llmedge
开源
在 Android 上轻松跑多模态 AI，离线推理一条龙
Android native AI inference library, bringing text, image, video, STT, TTS inference
clearml-agent
开源
一键排队运行ML任务，自动调度GPU，省心省力
ClearML Agent - MLOps/LLMOps made easy. MLOps/LLMOps scheduler & orchestration solut···
Routerly
开源
换一个 URL，自动选最划算的 AI 模型
Self-hosted LLM gateway that routes requests across AI providers (OpenAI, Anthropic,···