tutorials

跟着官方示例,把模型快速部署成推理服务

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 160 🐛 待处理 29 👀 关注 16
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 869
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,教程仓库

项目预览

tutorials 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队triton-inference-server
定价模式🏷️完全免费
价格说明开源免费,教程仓库
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
GitHub 星标★ 869
上线时间2022-12-16 00:00:00
代码更新2026-11-17
仓库体积104.8 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

这是 NVIDIA Triton Inference Server 的官方教程与示例仓库,面向希望把训练好的模型部署成在线推理服务的开发者。它解决的核心问题是:模型从训练框架导出后,如何统一托管、批量调度、动态加载并对外提供 HTTP/gRPC 接口。仓库按功能组织示例,覆盖模型仓库目录结构、多框架后端(TensorRT、ONNX Runtime、PyTorch、TensorFlow 等)、集成模型与集成调度、动态批处理、序列批处理、模型版本与热更新、指标监控与性能分析等主题,并提供可直接运行的 notebook 与脚本。它本身不是推理引擎,而是配套学习材料,帮助用户快速理解 Triton 的配置约定与调优手段,缩短从样例到生产部署的路径。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 869

核心亮点

  • 由官方维护,示例与 Triton 版本同步,配置项和接口用法准确
  • 覆盖多框架后端、动态批处理、集成模型、性能分析等关键部署主题
  • 提供可直接运行的 notebook 和脚本,按步骤复现,上手成本低

不足之处

  • 以教程为主,缺少面向生产环境的完整工程化模板与运维方案
  • 示例分散在多个目录,版本迭代后部分内容需自行核对适配

适用场景

  • 首次搭建 Triton 模型仓库并验证多框架模型部署
  • 为在线推理服务配置动态批处理与并发实例以提升吞吐
  • 学习集成模型、序列批处理和性能分析工具的使用方式

替代项目

NVIDIA Triton Inference Server、KServe、BentoML

同类项目推荐

EverOS 开源

给每个 AI 代理装一个随身记忆库,跨应用不忘事

One portable memory layer for every AI agent: local-first, Markdown-native, user-own···

★ 13959 2026-08-09
gpu-unlock 开源

解锁 30 系显卡 FP/BF16 发射率,逼近专业卡算力

Your GeForce runs AI at half speed. This fixes it for 20/30/40 series cards. Up to 2···

★ 20634 2026-10-26
edit-anything-app 开源

用无服务器+Stable Diffusion快速搭建AI图像编辑应用

The source of the demo app for fal-serverless + Next.js

★ 123 2026-08-09
platform 开源

把 AI 智能体从笔记本搬到 K8s,企业级管控一步到位

Agyn is an open-source Kubernetes-native runtime that moves AI agents like Claude Co···

★ 243 2026-08-09
logto 开源

开箱即用的登录与权限系统,让 SaaS 和 AI 应用快速上线认证

‍ Authentication and authorization infrastructure for SaaS and AI apps, built on OI···

★ 14961 2026-10-17
nano-vectordb 开源

百行代码搞定向量检索,轻松上手随意改

A simple, easy-to-hack Vector Database

★ 211 2026-08-09
ComfyUI-DD-Translation 开源

让 ComfyUI 界面说中文,节点参数一眼看懂

基于AIGODLIKE-ComfyUI-Translation项目的衍生分支,对最新版本ComfyUI做全面的支持和适配···

★ 851 2026-11-13
videodb-python 开源

几行 Python 把视频变成可搜索、可剪辑的数据库

VideoDB Python SDK

★ 118 2026-10-15
seekdb 开源

一个数据库搞定智能体所有数据,检索快还省心

The AI-Native Search Database. Best for agent storage, it unifies vector, text, stru···

★ 3253 2026-08-09