TensorRT-Model-Connect

两条命令把 PyTorch 模型跑成 TensorRT 推理

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署 基础设施 🍴 复刻 73 🐛 待处理 270 👀 关注 1
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 280
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费，NVIDIA官方工具

项目预览

TensorRT-Model-Connect 项目界面预览图
图片来源：GitHub 官方仓库名片

项目数据

分类基础设施
开发团队NVIDIA
官网地址https://nvidia.github.io/TensorRT-Model-Connect
GitHubhttps://github.com/NVIDIA/TensorRT-Model-Connect
定价模式🏷️完全免费
价格说明开源免费，NVIDIA官方工具
访问状态🔧 仅开源项目，无在线服务，需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型ai-agents,ai-native,cpp,huggingface,inference,pytorch
GitHub 星标★ 280
上线时间2026-04-20 00:00:00
代码更新2026-10-23
仓库体积56.8 MB
本站数据更新2026-10-24
维护状态活跃
收录时间2026-10-24
浏览次数0

项目介绍

TensorRT-Model-Connect 是一个面向 PyTorch 模型部署的工程化工具，目标是把训练好的模型快速转成端到端 TensorRT 推理服务。它解决的核心问题是 TensorRT 部署链路繁琐：模型导出、ONNX 转换、引擎构建、精度校准、推理封装等步骤通常需要手写脚本并反复调试。项目主打“两条命令完成从 PyTorch 到 TensorRT 推理体验”，通过 AI-native 的交互方式降低使用门槛，并支持跨平台运行。核心能力包括自动化的模型转换流程、对 HuggingFace 等常见模型来源的适配、推理服务封装，以及借助 AI 代理辅助排查转换与运行问题。适合希望快速验证 TensorRT 加速效果、又不想深入底层 C++ 与 CUDA 细节的开发者，也可作为模型上线前的性能验证工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-10-24 · 当前星标 ★ 280

核心亮点

  • 把模型导出、ONNX 转换、引擎构建与推理封装串成两条命令，显著减少手工脚本
  • AI-native 交互设计，转换失败时可由 AI 代理辅助定位问题，降低 TensorRT 使用门槛
  • 支持跨平台，并适配 HuggingFace 等常见模型来源，便于快速验证加速效果

不足之处

  • 项目处于早期，星标约 280，生态与社区案例较少
  • 依赖 TensorRT 与 CUDA 环境，非 NVIDIA GPU 场景无法使用，环境配置仍有隐性成本

适用场景

  • 把 HuggingFace 上的 PyTorch 模型快速转成 TensorRT 引擎做推理性能对比
  • 模型上线前验证 TensorRT 加速收益，评估是否值得投入深度优化
  • 教学或原型阶段，用少量命令演示从训练框架到推理引擎的完整链路

替代项目

TensorRT、ONNX Runtime、OpenVINO

上一篇：agentplay

下一篇：没有了！

同类项目推荐

tokscale 开源

终端里统一看 AI 编程 token 消耗，参与全球排行。

️ Track token usage across AI coding agents from your terminal. Global leaderboard···

★ 5725 2026-08-09
clearml-agent 开源

一键排队运行ML任务，自动调度GPU，省心省力

ClearML Agent - MLOps/LLMOps made easy. MLOps/LLMOps scheduler & orchestration solut···

★ 314 2026-08-09
beneath 开源

免运维的实时数据管道，一键接入，秒级查询。

Beneath is a serverless real-time data platform ⚡️

★ 84 2026-08-09
vllm-metal 开源

让 Mac 也能跑 vLLM 高吞吐推理

Community maintained hardware plugin for vLLM on Apple Silicon

★ 1904 2026-10-14
smfs 开源

让 AI 像 grep 一样，秒搜所有文件内容

A filesystem designed for agents, with SOTA retrieval, automatic memory profiles, sy···

★ 490 2026-08-09
agentacct 开源

看清你的 AI 编程代理干了啥、花了多少钱

See what your coding agents did and what it cost. Breaks each task down into work st···

★ 771 2026-08-09
mloda 开源

插件化数据访问，让 AI 应用轻松获取可追溯的数据上下文。

mloda.ai - Open Data Access for AI and ML. Plugin-based. Traceable. Framework-agnost···

★ 96 2026-08-09
tabularis 开源

一个桌面工具，连接 15+ 数据库，还能让 AI 帮你写 SQL。

Open-source desktop SQL workspace with 3 built-in database drivers and 24 shipped dr···

★ 5268 2026-08-09
runtime 开源

把 AI 生成的代码关进 WASM 沙箱安全跑

Secure runtime to sandbox AI agent tasks. Run untrusted code in isolated WebAssembly···

★ 299 2026-10-18