项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 869
核心亮点
- 由官方维护,示例与 Triton 版本同步,配置项和接口用法准确
- 覆盖多框架后端、动态批处理、集成模型、性能分析等关键部署主题
- 提供可直接运行的 notebook 和脚本,按步骤复现,上手成本低
不足之处
- 以教程为主,缺少面向生产环境的完整工程化模板与运维方案
- 示例分散在多个目录,版本迭代后部分内容需自行核对适配
适用场景
- 首次搭建 Triton 模型仓库并验证多框架模型部署
- 为在线推理服务配置动态批处理与并发实例以提升吞吐
- 学习集成模型、序列批处理和性能分析工具的使用方式
替代项目
NVIDIA Triton Inference Server、KServe、BentoML
同类项目推荐
EverOS
开源
给每个 AI 代理装一个随身记忆库,跨应用不忘事
One portable memory layer for every AI agent: local-first, Markdown-native, user-own···
gpu-unlock
开源
解锁 30 系显卡 FP/BF16 发射率,逼近专业卡算力
Your GeForce runs AI at half speed. This fixes it for 20/30/40 series cards. Up to 2···
edit-anything-app
开源
用无服务器+Stable Diffusion快速搭建AI图像编辑应用
The source of the demo app for fal-serverless + Next.js
platform
开源
把 AI 智能体从笔记本搬到 K8s,企业级管控一步到位
Agyn is an open-source Kubernetes-native runtime that moves AI agents like Claude Co···
logto
开源
开箱即用的登录与权限系统,让 SaaS 和 AI 应用快速上线认证
Authentication and authorization infrastructure for SaaS and AI apps, built on OI···
nano-vectordb
开源
百行代码搞定向量检索,轻松上手随意改
A simple, easy-to-hack Vector Database
ComfyUI-DD-Translation
开源
让 ComfyUI 界面说中文,节点参数一眼看懂
基于AIGODLIKE-ComfyUI-Translation项目的衍生分支,对最新版本ComfyUI做全面的支持和适配···
videodb-python
开源
几行 Python 把视频变成可搜索、可剪辑的数据库
VideoDB Python SDK
seekdb
开源
一个数据库搞定智能体所有数据,检索快还省心
The AI-Native Search Database. Best for agent storage, it unifies vector, text, stru···
